最近 DeepSeek 火的一塌糊涂,也算是国产 AI 的一丝曙光,DeepSeek 的 R1 模型支持本地部署,相比较在线的 DeepSeek,本地部署具有以下优点:
- 支持离线使用,可以在不联网的环境下正常使用
- 个性化训练,可以针对你的业务场景或者需求,对大模型进行专门的训练
- 信息安全,你上传和提问的信息和内容,不会通过互联网传输到 DeppSeek 的服务器,减小了信息泄露的风险
- 可以问的问题更加全面,一些敏感的问题也可以问,当然,也要遵守法律法规
当然,DeepSeek R1 模型满血版本需要极高的配置要求,部署在自己的电脑上的 DeepSeek 相比较在线版的,会显得笨一些,DeepSeek 官方提供了多个版本的模型,分为 1.5b,7b,8b,14b,32b,70b,671b。数字越大,AI
就越聪明,相应的所需的配置就越高。在线版的 671b 需要上百张顶级配置的显卡才能带得动,1.5b 的话一般的4核CPU以上的家用电脑都可以带动,我的8G显存的电脑可以带 14b,运行起来稍微有点慢,可以流畅使用 8b
安装 ollama
- Ollama 是一个开源的大型语言模型服务工具,主要特点是帮助用户在本地运行大型语言模型
- 官网:https://ollama.com/
- 中文文档:https://ollama.readthedocs.io/quickstart/
- 在官网找到 download,下载 ollama 安装包,安装到你的电脑
- 安装完成后,在 ollama 官网,找到你想要下载的模型,比如 deepseek R1 模型,https://ollama.com/library/deepseek-r1
- 在你电脑的终端,拉取模型:
ollama pull deepseek-r1:1.5b
,拉取过程中如果网络很慢,可以试试 Ctrl + C 停止拉取,然后再重新拉取,会快一些 - 拉取完成之后,可以通过
ollama list
命令查看你本地已经安装的模型列表 - 通过
ollama run deepseek-r1:1.5b
命令,即可运行模型,现在,就可以在终端使用 AI 了
可视化界面
- 可以通过一些第三方的 UI 界面,连接到你本地的 ollama 模型
ChatBox
- ChatBox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可