下载 Ollama 安装包
访问 Ollama 官网:Ollama
安装 Ollama
下载完成后,双击安装包文件,按照安装向导的提示进行安装。
默认安装路径为 C:\Users\<用户名>\AppData\Local\Programs\Ollama,如果需要更改安装路径,可以在安装过程中选择自定义安装目录。
安装验证
安装完成后,按下 Win+R 键,输入 CMD 并回车,打开命令提示符。在命令提示符中输入 ollama -v,如果显示 Ollama 的版本号(如 0.5.7),则说明安装成功。
模型安装
进入ollama官网下载模型
选择适配你电脑的模型。参考下方表格
模型名称 | 参数量 | 原始显存需求 | 4bit量化显存需求 | 性能特点 |
DeepSeek-R1-671B | 671B | 1400GB | - | 全方位高性能 |
DeepSeek-R1-Distill-Llama-70B | 70B | 140GB | 48GB | 推理能力强,通用性能较好 |
DeepSeek-R1-Distill-Qwen-32B | 32B | 64GB | 22GB | 推理能力优秀,通用性能中等 |
DeepSeek-R1-Distill-Qwen-14B | 14B | 28GB | 16GB | 推理能力较强,通用性能较弱 |
DeepSeek-R1-Distill-Qwen-7B | 7B | 14GB | 8GB | 适合低显存设备,性能有限 |
下载模型
在模型页面中,点击右侧的 “Run” 按钮,复制生成的命令
回到命令提示符,粘贴刚才复制的命令并回车,Ollama 将开始下载并安装所选模型。
安装成功:
安装完成后按Enter,进入测试阶段,发送一些指令问题,检测是否安装成功。
到这一步我们以及完成deepseek本地化部署了。
接下来我们加入Web UI进行操作简化处理。
前端交互
在Web UI文件里面
输入cmd进入终端,输入npm run dev启动界面
在本地浏览器输入启动后端ip地址和端口,进行前端交互页面。
选择我们所部署的deepseek模型
进行测试
模块拓展
如果想在同一个局域网里面使用,我们进行以下修改。
进入WebUI\src\lib\constants.ts文件里面,将ip地址改为我们的局域网地址
通过ipconfig进行查看
通过局域网ip进行登录,访问成功。