小白浅尝DeepSeek本地私有化部署:从0到1(附个人感受)

前言

随着今年春节Deepseek的爆火,机器人在春晚的表演,注定了2025年又是AI、人工智能爆火的一年。

作为一名平时仅仅只是用AI在线产品的人,也跟风玩了一下DeepSeek的本地私有化部署,至于部署后的一些个人体会和心得,我写在了文末~

什么是DeepSeek我就不作过多介绍了,还是先简单介绍一些本地私有化部署的一些客观优势吧。

  • 性能方面

    稳定性高、响应速度快,因为它不受到网络和远程服务器的影响,仅仅取决于你自己的部署环境。

  • 成本方面

    如果你已经有了满足部署的资源,进行本地私有化部署可以节约调用API的成本。

  • 安全方面

    本地部署的数据都在你自己的服务器上,如果不接入互联网,你的数据就不存在被截取和泄露的风险。

  • 灵活性方面

    本地部署的可以根据自己的需求做各种定制,同时在合规性上也是能够更大程度上满足需求,极大的实现定制。

一、部署准备

硬件环境

  • CPU ≥ 2Core
  • 显存/RAM ≥ 16G

软件环境

  • Docker
  • Ollama
  • Dify

二、开始部署

我是用的window系统,所以后续的部署都是基于window系统进行的。

2.1 安装docker

docker官网链接:www.docker.com/

docker的安装说简单也简单,说复杂呢也存在一些注意事项,特别是注意开启系统的Hyper-V支持。

2.2 安装ollama

ollama的安装和docker其实差不多,下载傻瓜式安装就可以了!

ollama官网链接:ollama.com/

在这里插入图片描述

2.3 部署Deepseek

ollama安装好之后我们就可以根据自己的实际环境,选择合适的Deepseek尺寸模型进行部署了。

在这里插入图片描述

我电脑比较差,最开始部署的就是7b尺寸的。使用以下命令进行部署:

ollama run deepseek-r1:7b

在这里插入图片描述

2.4 安装dify

dify的安装需要用到git工具,没有的话可以先安装git,或者自己在线打包下载。具体执行以下命令进行下载安装:

// 下载dify
 git clone https://github.com/langgenius/dify.git
 
 // 进入dify的docker目录
 cd dify/docker
 
 // 复制一份环境
 cp .env.example .env
 
 // 最后使用docker进行dify安装
 docker compose up -d

在这里插入图片描述

在这里插入图片描述

执行完成后,就可以通过电脑的ip直接运行dify的网页安装流程了。

第一步,设置管理员账户

在这里插入图片描述

第二步,设置成功后就可以登录了

在这里插入图片描述

第三步,将Deepseek连接到Dify

1、点击Dify页面右侧头像

2、点击设置

3、选择模型供应商

4、选择ollama

5、添加模型

6、配置模型信息,名称可以自定义,基础URL得填写你电脑的ip地址+11434端口

在这里插入图片描述

在这里插入图片描述

如果顺利的话,点击保存就可以了。

在这里插入图片描述

如果不顺利的话,就会和我一样,报错下面这个。

在这里插入图片描述

问题原因:

是因为ollama默认运行的服务是在127.0.0.1上,而127.0.0.1是不能通过电脑ip直接访问的。

解决方案:

将ollama的监听地址改为0.0.0.0。

我是在window系统环境变量中增加了一个变量为OLLAMA_HOST的变量,值就是0.0.0.0,然后保存退出ollama重启就可以了。

2.5 创建AI应用

第一步,点击页面左侧创建空白应用

在这里插入图片描述

第二步,选择聊天助手

在这里插入图片描述

到这里聊天助手就基本上就搭建好了,由于是7b尺寸的模型,所以对话有一点脑残的感觉,同时也因为Deepseek是推理型的ai,所以他会回复很多推理逻辑出来。

在这里插入图片描述

写在最后

现在这个大环境,你会不会搭建AI,真心一点都不重要,重要的是你要去学会用AI,利用AI提高自己的个人能力、工作效率等等。

搭建感受

通过搭建更换几个不同尺寸的模型以及使用体验来看,个人不是特别建议自己搭建来作为长期使用,以下是自己不建议的几个原因:

1、硬件方面: 要想好用,你肯定得搭建大尺寸的模型,而大尺寸的模型对性能、和存储等资源的要求就比较高,如有你没有现成的资源,个人认为是不划算的。

2、技术门槛: 虽然基础搭建是比较简单的过程,但是后续的持续维护、监控等等也是非常繁琐和耗时的,也需要有一定的技术能力。

3、网络限制: 如果你只是本地搭建,虽然提高了响应速度,但是由于无法实时获取最新数据,知识库也是无法得到及时更新的。

总之,如果你没有特殊的需求,学习Deepseek的搭建过程是完全可以的,但是要作为个人长期使用,个人是不太建议的。

最后的最后

感谢你们的阅读和喜欢,作为一位在一线互联网行业奋斗多年的老兵,我深知在这个瞬息万变的技术领域中,持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友,我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶,也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出,而且非常实用,让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习,相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

DeepSeek全套安装部署资料

在这里插入图片描述

大模型知识脑图

为了成为更好的 AI大模型 开发者,这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值