目录
1.环境准备
▎硬件推荐
- CPU: Intel i7+/AMD Ryzen 7+
- 内存: 32GB+(7B模型最低要求)
- 显卡: NVIDIA RTX 3090+(如需GPU加速)
▎系统依赖
# Ubuntu/Debian
sudo apt install -y python3.10 git curl build-essential
pip install torch==2.0.1 --extra-index-url https://download.pytorch.org/whl/cu117
---
2.安装与配置
▎克隆仓库
git clone https://github.com/deepseek-ai/deepseek-core.git
cd deepseek-core && git checkout v1.2.0
▎安装依赖
pip install -r requirements.txt
▎模型下载
# 官方模型下载(需申请API key)
python scripts/download_model.py --model=deepseek-7b --key=YOUR_KEY
# 或手动放置模型至:
mkdir models && mv /path/to/model.bin models/
---
3.启动服务
▎快速启动(CPU模式)
python app/main.py --device cpu --port 8000
▎Docker部署
FROM pytorch/pytorch:2.0.1-cuda11.7
COPY . /app
RUN pip install -r /app/requirements.txt
CMD ["python", "/app/main.py", "--device", "cuda"]
docker build -t deepseek .
docker run -p 8000:8000 --gpus all deepseek
---
4.接口测试
▎CURL请求示例
curl -X POST http://localhost:8000/generate \
-H "Content-Type: application/json" \
-d '{"prompt": "如何做蛋炒饭?", "max_length": 500}'
▎Python客户端
import requests
response = requests.post("http://localhost:8000/generate", json={
"prompt": "解释量子力学",
"temperature": 0.7
})
print(response.json()["result"])
---
5.常见问题
❌ CUDA out of memory
- 降低batch_size参数
- 添加`--precision fp16`启用半精度
🔧 端口占用处理
lsof -i :8000 # 查找占用进程
kill -9 <PID> # 强制终止
📂 日志路径
tail -f logs/deepseek.log # 实时查看日志
grep "ERROR" logs/deepseek.log # 快速定位错误
---
🌟 进阶技巧
- 使用vLLM加速推理速度
- 集成FastAPI实现Swagger文档
- 通过Nginx配置SSL加密
立即部署你的专属AI大脑,释放本地算力潜能!
> 注:部署前请确认遵守模型许可证要求,商业使用需联系官方授权。