前面三个篇幅介绍本地部署DeepSeek+数据库及联网搜索的方法,后台又收到新的需求,“通过局域网或异地公网访问本地部署的DeepSeek+数据库”, 这是一个常见的场景,我也有用到,本次将整理分享配置“局域网或异地公网”访问的方法!
DeepSeek本地部署全攻略:局域网共享+远程访问一体化方案
【项目概述】
关于DeepSeek 本地化部署、搭建个人知识库(资料库)、联网搜索及本地化可视化管理。共分享了三套部署方案。这一篇着重介绍了局域网访问及异地公网访问本地DeepSeek知识库的方法。
演示环境:Windows11 24H2
(一)、DeepSeek本地部署基础环境
1.、安装Ollama框架
2、下载DeepSeek模型
3、可视化界面配置
4、配置本地知识(数据)库
关于本地如何部署DeepSeek、可视化界面及配置知识(数据)库,请前往前面发布的关于本地部署方案,涵盖(个人小白、小团队或企业)不同方法:
(二)、局域网共享大模型配置
同一局域网下,一台主机本地部署了DeepSeek-r1 (或其他模型)以及数据(知识)库后,供局域网下其他主机进行访问大模型和数据库。
操作步骤:
第一步、启动局域网访问权限
默认Ollama仅允许本地访问,需修改环境变量实现局域网共享:
创建用户环境变量:
1、WIN+R打开输入cmd,以管理身份启动CMD终端,执行如下两个命令。
setx OLLAMA_HOST "0.0.0.0"``setx OLLAMA_ORIGINS "*"
创建系统环境变量:
1、在电脑设置中搜索找到“编辑系统环境变量”并打开 编辑系统环境变量。
2、在系统属性面板中点击环境变量,点击 新建 系统变量。
3、新建系统变量名为:OLLAMA_HOST ,值设置为0.0.0.0 。
4、再次新建系统变量名称为:OLLAMA ORIGINS ,值设为:“ * ” 。
5、电脑右下角右键退出Ollama 程序后重新手动启动Ollama程序。
第二步;局域网访问本地大模型配置
在同一局域网下的其他用户访问当前本地部署。无论是使用Page Assist、Anything LLM、Chatbox或Cherry Studio进行部署,都需要在主机与被访问主机上安装对应用的部署工具。
注意:主机ip 地址查询,在CMD中 直接输入: ipconfig 回车即可显示。
部署一:浏览器插件
浏览器Page Assist Web UI插件部署的,设置Ollama地址为http://[主机IP]:11434。
1、被访问主机设置:使用Page Assist浏览器插件本地部署的,被访问主机默认本地访问:http://127.0.0.1 : 端口:11434 即可。
2、访问主机设置:访问主机将127.0.0.1 改为被访问主机IP 地址,如:192.168.50.80,端口默认11434 即可。
部署二:客户端工具
如Anything LLM、Chatbox或Cherry Studio进行部署,配置API地址为http://[主机IP]:11434/v1,选择对应模型即可交互。
1、被访问主机设置:默认Api :http://localhost:11434,保持默认即可。
2、访问主机设置:访问主机将localhost 改为被访问主机IP 地址,如:192.168.50.80,端口默认11434 即可。
3、Anything LLM工具设置同上。
(三)、异地公网访问大模型
一台主机本地部署了DeepSeek-r1 (或其他模型)以及数据(知识)库后,通过公网(外网)异地访问这台主机的大模型和数据,进行内网穿透设置,工具cpolar或路由侠。
操作步骤:
第一步:被访问主机安装路由侠
1、这里以路由侠为例,选择适合自己系统下载安装。
#路由侠地址:``https://www.luyouxia.com/``#cpolar地址:``https://www.cpolar.com/
2、启动安装程序进行安装。
3、注册路由侠账户,并登录账户。
第二步:路由侠配置
1、启动软件后,设置点击内网映射。
2、点击 添加映射 ,并进行配置。
3、选择 选择原生端口——开始创建。
4、配置公网地址:设置端口为Ollama 端口,然后点击创建。
5、创建完成后即显示创建的映射内容,右键复制地址,接下来将复制的地址粘贴到对应部署的工具中。
(四)、访问端设置
部署一:浏览器插件部署
1、Page Assist访问端设置:将复制的地址粘贴在Ollama 设置——Ollama URL 中保存,重启浏览器。
部署二:客户端工具
1、Cherry studio访问端设置:在设置——模型服务——Ollama——API地址 中粘贴地址,再添加模型设置后重启Cherry studio。
2、AnythingLlm访问端设置:首选项——Ollama——Ollama URL 中粘贴复制的地址,设置完成后设置后重启AnythingLlm。
注意事项:
1、提示错误 Ollama call failed with status code 403:
l检查环境变量——用户变量及系统变量是否有Ollama的变量设置。
如何学习AI大模型?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓