个人部署本地DEEPSEEK
一、安装Ollama
Ollama是一个开源工具,用于在本地轻松运行和部署大型语言模型。以下是安装Ollama的步骤:
访问Ollama官网:前往Ollama官网,点击“Download”按钮。
下载安装包:根据你的操作系统选择对应的安装包。下载完成后,直接双击安装文件并按照提示完成安装。
ollama --version
如果输出版本号(例如ollama version is 0.5.6),则说明安装成功。
二、下载并部署DeepSeek模型
Ollama支持多种DeepSeek模型版本,用户可以根据硬件配置选择合适的模型。以下是部署步骤:
选择模型版本:
入门级:1.5B版本,适合初步测试。
中端:7B或8B版本,适合大多数消费级GPU。
高性能:14B、32B或70B版本,适合高端GPU。
下载模型:
打开终端==命令提示符==,输入以下命令下载并运行DeepSeek模型。例如,下载7B版本的命令为:
ollama run deepseek-r1:7b
三、安装时报错
安装时出现timeout的报错,详见下图。怀疑是连接公司网络的问题,等验证后再来写。
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/deepseek-r1/manifests/7b": dial tcp 104.21.75.227:443: i/o timeout
四、解决办法
首先怀疑是网络问题,断掉公司的局域网,连上手机热点后,再重新执行命令发现是能够成功运行的。
五、总结
首先需要排除网络问题,更换局域网即可。