DeepSeek本地部署心得

一、前言

首先我们得了解deepseek(人工智能模型)不同数据规模能干的事情,以及它需要的硬件资源配置条件,deepseek依赖GPU,这就需要你的显卡有足够大的显存容量。
在这里插入图片描述
查看显存大小方法:
按下Win+R打开运行对话框,输入dxdiag并按回车。
在这里插入图片描述

本人的笔记本电脑显卡是 RTX4060,显示内存(VRAM)为8G,所以只能选择数据规模为7B的模型。
在这里插入图片描述
但是实际测试下来,14B的数据规模也能跑, 只不过对话的结果要加载一会儿。

二、安装步骤

1、安装程序Ollama。 (网址:https://ollama.com)
在这里插入图片描述
接着我们把安装包通过管理员身份运行。
在这里插入图片描述

2、点击install部署安装。
在这里插入图片描述
安装完毕后,桌面右下角会显示图标。
在这里插入图片描述
3、登录网址:https://ollama.com/library/deepseek-r1
选择7B模型
在这里插入图片描述
复制7B模型旁边的命令: ollama run deepseek-r1:7b
在这里插入图片描述
4、按住“win+R”键,呼出运行窗口,输入命令powershell,进入命令行。
在这里插入图片描述
把第3步复制的ollama run deepseek-r1:7b命令复制到命令行中。
完成后出现“Send a message”的字样,说明成功了。此时可以关闭这个窗口。
在这里插入图片描述

5、进入系统属性,点击环境变量
在这里插入图片描述
新建两个变量:
OLLAMA_HOST : 0.0.0.0
OLLAMA_ORIGINS : *

在这里插入图片描述6、安装 Chatbox-1.9.8-Setup

在这里插入图片描述
然后点击设置
在这里插入图片描述
按照以下三个参数进行设置:
在这里插入图片描述
此时,我们就能使用JUST CHAT模块(也只能用这个)。

三、效果演示

我这里放了一个文件上去,让它简单总结了文件内容,大家可以自行测试。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晓梦林

都看到这里了,支持一下作者呗~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值