私有化部署DeepSeek-R1 671B，公司内部团队使用

一、背景与目标

随着深度学习技术的高速发展，越来越多的企业选择在内部搭建大模型推理与训练平台，以确保数据安全、降低外部依赖并满足企业级自定义需求。DeepSeek-R1 671B 作为一款超大规模预训练模型，具有强大的自然语言处理与理解能力，适合在文本生成、知识问答、内容审核等企业场景中提供高质量的解决方案。

本报告主要介绍如何在公司内部使用以下环境完成 DeepSeek-R1 671B 模型的私有化部署：

• 硬件环境
  • CPU：ThreadRipper 7980X * 1
  • GPU：RTX 4090 * 4（总显存 96GB）
  • 内存：96 GB * 4（总计 384GB）
  • 存储：SSD 2TB * 1
• 软件环境
  • 操作系统：CentOS 8.2
  • Python：3.10+
  • 管理工具：Ollama
  • 前端可视化 UI：AnythingLLM

在本次部署方案中，我们的目标是：

1. 离线部署，保证数据安全与快速响应；
2. 使用 Ollama 进行统一管理与调度；
3. 通过 AnythingLLM 提供友好的可视化界面；
4. 确保模型的推理性能与稳定性，支持企业内部多并发访问；
5. 后续可扩展为微调场景或上线更多模型。

---

二、环境参数与前期准备

1. 硬件参数核对与 BIOS 配置

1. CPU 与内存
   • 线程撕裂者（ThreadRipper）系列 CPU 通常支持较高并发与多通道内存。请在 BIOS 中检查内存通道是否全部开启，保证 4 条 96GB 内存均处于可用状态，并充分利用 NUMA 特性。
2. GPU 检查
   • 确认 4 块 RTX 4090 均正常安装，驱动已正确识别，执行 nvidia-smi 确认显存总量（96GB）是否与预期一致。
   • 若需考虑运维性，可将 GPU 风扇与功耗模式设置为合适档位，以平衡性能与能耗。
3. 存储空间
   • SSD 2TB 可安装系统与存放初步部署文件，若模型文件体积较大，可考虑使用多块 SSD 或网络存储（如 NAS）。
4. 电源与散热
   • 深度学习工作负载大，需确保电源稳定，以及机箱具备良好的散热方案。

2. 系统与软件依赖

1. 操作系统
   • CentOS 8.2，建议开启自动更新或定期手动更新安全补丁；
   • 若有生产环境安全合规要求，可加装 SELinux 或其他企业级安全方案；