现在DeepSeek比较火,可以将模型安装在自己电脑上进行使用。害怕有隐私泄露安全隐患的话,可以本地部署一个试试。
NVIDIA CUDA Toolkit下载(CUDA Toolkit 12.4 Update 1 Downloads | NVIDIA 开发者https://developer.nvidia.cn/cuda-downloads)
访问Ollama官网(https://ollama.com)根据自己电脑的系统,选择下载
下载之后执行安装,等ollam安装完毕后。
2060 4GB显卡以上可以安装7b参数
2080 4GB显卡以上可以安装8b参数
3060 6GB显卡以上可以安装14b参数
4080 12GB显卡以上可以安装32b参数
4090 24GB显卡2块以上可以安装70b参数
下载完毕后,就可以在命令行与deepSeek的AI进行对话了。
curl http://192.168.0.1:11434/api/chat -d '{
>> "model": "deepseek-r1:8b",
>> "messages": [
>> { "role": "user", "content": "你是谁?" }
>> ],
>> "stream": false
>> }'
五、使用ChatbotAi图形化工具
下载ChatbotAi(Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载)
下载安装后即可打开使用
重点来啦:启用局域网访问
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*
设置好环境变量后,重新打开终端,停止ollam再重启服务
ollam stop #停止
ollama serve #启动
局域网内其他用户使用配置如下:
如果为下载安装ChatbotAi工具,也可以通过网页访问
Chatboxchatboxhttps://web.chatboxai.app/
开通局域网访问详情可查看 ChatbotAi文档