前言
随着今年春节Deepseek的爆火,机器人在春晚的表演,注定了2025年又是AI、人工智能爆火的一年。
作为一名平时仅仅只是用AI在线产品的人,也跟风玩了一下DeepSeek的本地私有化部署,至于部署后的一些个人体会和心得,我写在了文末~
什么是DeepSeek我就不作过多介绍了,还是先简单介绍一些本地私有化部署的一些客观优势吧。
-
性能方面
稳定性高、响应速度快,因为它不受到网络和远程服务器的影响,仅仅取决于你自己的部署环境。
-
成本方面
如果你已经有了满足部署的资源,进行本地私有化部署可以节约调用API的成本。
-
安全方面
本地部署的数据都在你自己的服务器上,如果不接入互联网,你的数据就不存在被截取和泄露的风险。
-
灵活性方面
本地部署的可以根据自己的需求做各种定制,同时在合规性上也是能够更大程度上满足需求,极大的实现定制。
一、部署准备
硬件环境
- CPU ≥ 2Core
- 显存/RAM ≥ 16G
软件环境
- Docker
- Ollama
- Dify
二、开始部署
我是用的window系统,所以后续的部署都是基于window系统进行的。
2.1 安装docker
docker官网链接:www.docker.com/
docker的安装说简单也简单,说复杂呢也存在一些注意事项,特别是注意开启系统的Hyper-V支持。
2.2 安装ollama
ollama的安装和docker其实差不多,下载傻瓜式安装就可以了!
ollama官网链接:ollama.com/
2.3 部署Deepseek
ollama安装好之后我们就可以根据自己的实际环境,选择合适的Deepseek尺寸模型进行部署了。
我电脑比较差,最开始部署的就是7b尺寸的。使用以下命令进行部署:
ollama run deepseek-r1:7b
2.4 安装dify
dify的安装需要用到git工具,没有的话可以先安装git,或者自己在线打包下载。具体执行以下命令进行下载安装:
// 下载dify
git clone https://github.com/langgenius/dify.git
// 进入dify的docker目录
cd dify/docker
// 复制一份环境
cp .env.example .env
// 最后使用docker进行dify安装
docker compose up -d
执行完成后,就可以通过电脑的ip直接运行dify的网页安装流程了。
第一步,设置管理员账户
第二步,设置成功后就可以登录了
第三步,将Deepseek连接到Dify
1、点击Dify页面右侧头像
2、点击设置
3、选择模型供应商
4、选择ollama
5、添加模型
6、配置模型信息,名称可以自定义,基础URL得填写你电脑的ip地址+11434端口
如果顺利的话,点击保存就可以了。
如果不顺利的话,就会和我一样,报错下面这个。
问题原因:
是因为ollama默认运行的服务是在127.0.0.1上,而127.0.0.1是不能通过电脑ip直接访问的。
解决方案:
将ollama的监听地址改为0.0.0.0。
我是在window系统环境变量中增加了一个变量为OLLAMA_HOST的变量,值就是0.0.0.0,然后保存退出ollama重启就可以了。
2.5 创建AI应用
第一步,点击页面左侧创建空白应用
第二步,选择聊天助手
到这里聊天助手就基本上就搭建好了,由于是7b尺寸的模型,所以对话有一点脑残的感觉,同时也因为Deepseek是推理型的ai,所以他会回复很多推理逻辑出来。
写在最后
现在这个大环境,你会不会搭建AI,真心一点都不重要,重要的是你要去学会用AI,利用AI提高自己的个人能力、工作效率等等。
搭建感受
通过搭建更换几个不同尺寸的模型以及使用体验来看,个人不是特别建议自己搭建来作为长期使用,以下是自己不建议的几个原因:
1、硬件方面: 要想好用,你肯定得搭建大尺寸的模型,而大尺寸的模型对性能、和存储等资源的要求就比较高,如有你没有现成的资源,个人认为是不划算的。
2、技术门槛: 虽然基础搭建是比较简单的过程,但是后续的持续维护、监控等等也是非常繁琐和耗时的,也需要有一定的技术能力。
3、网络限制: 如果你只是本地搭建,虽然提高了响应速度,但是由于无法实时获取最新数据,知识库也是无法得到及时更新的。
总之,如果你没有特殊的需求,学习Deepseek的搭建过程是完全可以的,但是要作为个人长期使用,个人是不太建议的。
最后的最后
感谢你们的阅读和喜欢,作为一位在一线互联网行业奋斗多年的老兵,我深知在这个瞬息万变的技术领域中,持续学习和进步的重要性。
为了帮助更多热爱技术、渴望成长的朋友,我特别整理了一份涵盖大模型领域的宝贵资料集。
这些资料不仅是我多年积累的心血结晶,也是我在行业一线实战经验的总结。
这些学习资料不仅深入浅出,而且非常实用,让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习,相信它们一定能为你提供实质性的帮助。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】

DeepSeek全套安装部署资料
大模型知识脑图
为了成为更好的 AI大模型 开发者,这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
经典书籍阅读
阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。
实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
面试资料
我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下
640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
