DeepSeek本地化部署

置顶编程巫师

已于 2025-02-27 13:21:18 修改

阅读量1.2k

点赞数 8

分类专栏：杂谈文章标签： deepseek

于 2025-02-07 22:21:20 首次发布

本文链接：https://blog.csdn.net/weixin_40141628/article/details/145501994

版权

杂谈专栏收录该内容

8 篇文章

订阅专栏

文章目录

前言
一、主机配置
二、工具下载

前言

最近的国产大模型DeepSeek横空出事，笔者也关注了下。网页版的免费而且推理速度很快，重量级的是它把自己详细的推理思考过程展示了出来，回答的问题和给出的各种解决方案更详细、完善，可以说是碾压了其他所有的国产大模型。但是网页版的总是服务器爆满，最近受到的西方国家黑客攻击又很多，体验不是很好。所以想着能本地部署下自己一个人使用就好了，于是笔者上网搜索了下资料，在自己的主机上搞了一套，但是结果却差强人意，将就着能用吧，就是慢了点，下面把安装部署的详细步骤展示给大家，感兴趣的可以自己试着部署玩一玩。

一、主机配置

笔者的主机基本配置如下
操作系统：windows11专业版
显卡：4090(24G显存)
处理器：Intel® Core™ i9-14900KF 3.20 GHz

这个配置可以说不错了，尽管市面上5090出来了，但是其实效果都一样，只有英伟达的计算显卡(H100、A100、RTX 6000 Ada等)才行，不过价格都是几万到十几万元，最新的GB200售价在3万-4万美元。普通消费级游戏显卡算力完全不行。我们平时玩游戏的显卡图形渲染能力强，专门用来玩各种3A大作。

游戏显卡：
主要针对游戏、图形渲染、视频编辑等消费级场景，优化实时图形性能（如高帧率、光线追踪）。
计算显卡：
面向科学计算、深度学习、AI训练、工程模拟等专业领域，注重并行计算能力和稳定性。

二、工具下载

Ollama下载安装

Ollama官网地址

下载windows上的，其他操作系统下载对应的即可
在这里插入图片描述

这个由于是外网下载很慢的，笔者通过一些其他手段下了下来，已经上传到文章顶部的资源压缩包了，可以自己下载解压，或者愿意等的自己从官网上慢慢下载就行

在这里插入图片描述
这个Ollama应用程序点击安装，默认直接是安装到C盘的，也没法设置其他自定义路径。。。
安装好后默认是运行的，电脑右下角隐藏图标多一个小猪头，鼠标放上去有两个选项

View Logs：查看日志的
Quit Ollama：退出Ollama

在这里插入图片描述
安装好后，管理员身份打开CMD，键入以下命令

ollama -v

在这里插入图片描述
可以看到Ollama安装成功了

退出Ollama

上面的步骤说了，右下角的图标有个Quit Ollama，退出Ollama，点一下后，再次在cmd中输入ollama -v

在这里插入图片描述

找不到正在运行的Ollama实例了，怎么办呢，当我们关机后开机怎么重新运行Ollama服务？莫急，只需要在电脑左下角搜索框输入Ollama就可以找到刚才添加的应用，鼠标左键点击一下，就可以了。

在这里插入图片描述

cmd再次查看运行情况

在这里插入图片描述

当然你也可以把这个Ollama应用发送快捷方式到桌面上去，方便下次使用。

ollama设置模型并发处理请求

需要先退出关闭ollama，打开cmd键入以下命令，可以同时并发处理8个请求，注意哦你的电脑配置不一定扛得住，笔者的4090运行两个对话框同时回复消息都有点吃力了

# 启动参数优化
ollama serve --max-keepalive-streams 100 --grpc-max-recv-msg-size 2048MB

# 环境变量配置（系统级）
setx OLLAMA_NUM_PARALLEL 8
setx OLLAMA_MAX_LOADED_MODELS 4

在这里插入图片描述
需要注意的是，并发数不能太多，你的机器配置能力有限的

下载DeepSeek R1模型

选择模型：Ollama软件安装完成后，便要获取DeepSeek R1模型。再次打开Ollama官网，点击“Models”，在众多模型中，“deepseek - r1”位列榜首，十分醒目。

可以看到有1.5b，7b，14b，32b，70b，621b这些不同参数个数的模型，分别代表15亿，70亿，140亿，320亿，700亿，6210亿。当然训练参数个数越多，模型的能力越强了。点击进入，一般的电脑你就下载7b、14b就差不多了，像笔者的配置就可以下载32b。不过笔者一开始下载的是70b，也能跑，但是速度很慢，所以后面就又下载了32b。

选择32b，复制后面的运行命令