本地部署DeepSeek步骤

一、下载ollama  

  • 注意一点,ollama是默认安装到C盘的,下载的模型也会下载到C盘,这边建议改一下环境变量,变量值填模型放的位置,这样下载模型不怕站C盘硬盘。Ollama安装完成后无任何提示信息。

二、 在本地部署适合自己电脑配置的R1模型

  • 这一步关键在于选择适合自己电脑配置的模型,这是模型的官网:

https://ollama.com/library/deepseek-r1

注:本机下载的8b 运行起来很卡,下图是本机配置(显卡NVIDIA GeForce 940MX)

官方推荐配置参考 

参考量

显存需求

显卡推荐

1.5B

通常4GB左右

GTX 1050

8B/7B

一般8-10GB

GTX 1660

14B

12GB以上,16GB以上运行流畅

RTX 3060

32B

16GB以上,21GB以上运行流畅

RTX 3060

70B

24GB以上,40GB以上运行流畅

RTX 3090、RTX4090

671B

1342GB

16张NVDIA-A100 80GB显卡

复制对应的代码(本机使用的命令ollama run deepseek-r1:8b)在windowsPowerShell终端运行(需要管理员权限) 如下图所示

下载成功后,可以在命令行中运行模型和其对话 ,ctrl+D退出对话

     

三、Chatbox前端搭建

通过第二步的操作,已经部署好DeepSeek,但每次使用都要在终端管理员里操作,相当繁琐。这里可以借助Chatbox,实现网页或客户端操作。

官网地址:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

选择合适自己的操作系统版本

安装Chatbox程序后进入模型配置,点击设置 弹出如下图对话框,参照下图进行本地配置

选择Ollama API,选择安装好的deepseek r1模型,保存即可

部署完成,就可以正常使用了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值