deepseek离线本地化部署

下载 Ollama 安装包

访问 Ollama 官网:Ollama

安装 Ollama

下载完成后,双击安装包文件,按照安装向导的提示进行安装。

默认安装路径为 C:\Users\<用户名>\AppData\Local\Programs\Ollama,如果需要更改安装路径,可以在安装过程中选择自定义安装目录。

安装验证

安装完成后,按下 Win+R 键,输入 CMD 并回车,打开命令提示符。在命令提示符中输入 ollama -v,如果显示 Ollama 的版本号(如 0.5.7),则说明安装成功。

模型安装

进入ollama官网下载模型

选择适配你电脑的模型。参考下方表格

模型名称

参数量

原始显存需求

4bit量化显存需求

性能特点

DeepSeek-R1-671B

671B

1400GB

-

全方位高性能

DeepSeek-R1-Distill-Llama-70B

70B

140GB

48GB

推理能力强,通用性能较好

DeepSeek-R1-Distill-Qwen-32B

32B

64GB

22GB

推理能力优秀,通用性能中等

DeepSeek-R1-Distill-Qwen-14B

14B

28GB

16GB

推理能力较强,通用性能较弱

DeepSeek-R1-Distill-Qwen-7B

7B

14GB

8GB

适合低显存设备,性能有限

下载模型

在模型页面中,点击右侧的 “Run” 按钮,复制生成的命令

回到命令提示符,粘贴刚才复制的命令并回车,Ollama 将开始下载并安装所选模型。

安装成功:

安装完成后按Enter,进入测试阶段,发送一些指令问题,检测是否安装成功。

到这一步我们以及完成deepseek本地化部署了。

接下来我们加入Web UI进行操作简化处理。

前端交互

在Web UI文件里面

输入cmd进入终端,输入npm run dev启动界面

在本地浏览器输入启动后端ip地址和端口,进行前端交互页面。

选择我们所部署的deepseek模型

进行测试

模块拓展

如果想在同一个局域网里面使用,我们进行以下修改。

进入WebUI\src\lib\constants.ts文件里面,将ip地址改为我们的局域网地址

通过ipconfig进行查看

通过局域网ip进行登录,访问成功。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值