一、下载ollama
- 下载适合自己电脑的版本, ollama的官网:
- Download Ollama on macOS
- 注意一点,ollama是默认安装到C盘的,下载的模型也会下载到C盘,这边建议改一下环境变量,变量值填模型放的位置,这样下载模型不怕站C盘硬盘。Ollama安装完成后无任何提示信息。
二、 在本地部署适合自己电脑配置的R1模型
- 这一步关键在于选择适合自己电脑配置的模型,这是模型的官网:
https://ollama.com/library/deepseek-r1
注:本机下载的8b 运行起来很卡,下图是本机配置(显卡NVIDIA GeForce 940MX)
官方推荐配置参考
参考量 | 显存需求 | 显卡推荐 |
1.5B | 通常4GB左右 | GTX 1050 |
8B/7B | 一般8-10GB | GTX 1660 |
14B | 12GB以上,16GB以上运行流畅 | RTX 3060 |
32B | 16GB以上,21GB以上运行流畅 | RTX 3060 |
70B | 24GB以上,40GB以上运行流畅 | RTX 3090、RTX4090 |
671B | 1342GB | 16张NVDIA-A100 80GB显卡 |
复制对应的代码(本机使用的命令ollama run deepseek-r1:8b)在windowsPowerShell终端运行(需要管理员权限) 如下图所示
下载成功后,可以在命令行中运行模型和其对话 ,ctrl+D退出对话
三、Chatbox前端搭建
通过第二步的操作,已经部署好DeepSeek,但每次使用都要在终端管理员里操作,相当繁琐。这里可以借助Chatbox,实现网页或客户端操作。
官网地址:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
选择合适自己的操作系统版本
安装Chatbox程序后进入模型配置,点击设置 弹出如下图对话框,参照下图进行本地配置
选择Ollama API,选择安装好的deepseek r1模型,保存即可
部署完成,就可以正常使用了。