一、服务器环境准备
1.1 选择云服务器(以AutoDL为例)
-
登录 AutoDL官网,进入「控制台」。
-
创建新实例:
-
镜像:选择
PyTorch 2.x + CUDA 12.x
基础镜像。 -
GPU型号:至少 RTX 3090 24G 或更高配置(如A100)。
-
硬盘:建议预留
100GB
以上空间(模型文件较大)。
-
-
开机后记录实例的 IP地址、SSH端口、密码。
1.2 基础环境配置
步骤 1:更新系统
apt-get update && apt-get upgrade -y
步骤 2:安装必要工具
apt-get install -y wget curl git pciutils lshw # 硬件检测工具
二、安装 Ollama
2.1 一键安装
curl -fsSL https://ollama.com/install.sh | sh
可能遇到的问题
-
systemd not running
警告:手动启动 Ollama 服务(AutoDL容器无systemd):
nohup ollama serve > /dev/null 2>&1 &
2.2 验证是否安装成功
三、部署 Deepseek-R1 模型
3.1 选择模型版本
模型名称 | 参数量 | 显存需求(量化后) | 推荐配置 |
---|---|---|---|
deepseek-r1:32b | 32B | ~64GB (FP16) | A100 80G |
deepseek-r1:32b-q4 | 32B | ~16GB (4-bit量化) | RTX 3090 24G |
deepseek-r1:16b | 16B | ~32GB (FP16) | RTX 4090 24G |
3.2 拉取并运行模型
登录ollama网站可以选取不同模型deepseek-r1:14b
# 示例:运行 4-bit 量化版 32B 模型
ollama run deepseek-r1:32b-q4
四、部署Chatbox网页版客户端
命令行访问对于大部分人还是不太友好,可以用图形化界面链接 ollama 来使用。这里推荐代码开源的 chatbox