2025 年春节期间，国内外媒体对 DeepSeek 高度关注。其中，最高的评价来自《黑神话·悟空》的创作者冯骥所提出的“国运级”定位。一时间，自媒体纷纷前来蹭热度，可谓热闹非凡。
外行看热闹，内行看门道。可以预见的是，接下来的一段时间里，DeepSeek-R1 的本地化部署将成为国内企业级 AI 应用的首选方案。
然而，目前关于 DeepSeek-R1 模型部署的文章多为混淆概念的标题党内容。
因此，有必要澄清该模型的特性并提供一种经过实践的部署方法，以供学习和业务参考。
一、R1 的特点与版本
DeepSeek-R1 系列模型在 DeepSeek-V3 的基础上通过强化学习技术，在推理能力上取得了显著突破，同时保持了低成本和开源的特点。
在技术方面有如下优势：
-
证明了“强化学习”对大模型的训练效果：DS 完全基于 RL（强化学习）进行训练，未使用任何监督训练或人类反馈，能够通过自我学习来提高性能，减少对人工标注的依赖。
-
高性能同时做到低硬件成本：DeepSeek-R1 在数学、编程和自然语言推理等任务上的性能与 OpenAI 的 GPT-4 正式版相当，但训练成本仅为 OpenAI 同类模型的 1/30。
-
提供多种参数量的蒸馏模型，以适应不同的应用场景。
在模型版本方面，DeepSeek 发布了 R1 系列的不同版本包括：R1-Zero、R1 和蒸馏版本。
区别如下：
-
DeepSeek-R1-Zero：完全基于强化学习训练，未使用监督微调数据，展现出强大的推理能力，但存在可读性差和语言一致性等局限。
-
DeepSeek-R1：在 R1-Zero 的基础上引入冷启动数据和多阶段训练策略，提升了模型的可读性、稳定性和语言一致性。
-
蒸馏版本：将 DeepSeek-R1 的推理能力迁移至 Qwen 和 LLaM 等更小规模模型中，推出了参数范围涵盖 1.5B 到 70B 的多版本。
先按下应用不会直接使用基础模型 R1-Zero 不表。行业测评对 R1 和蒸馏（Distill）模型有较高评价。
但值得注意的是，现有文章存在混淆 R1 与蒸馏模型的现象，刻意将 7B、14B 等蒸馏模型等同于 R1 的做法容易误导读者低估R1的实际部署成本。为明确区分起见，下文所述“R1”特指参数量最大的 671B 版本。
二、量化选择与软硬件要求
根据官方及社区的讨论，满血版 R1（671B，且不做量化）需要 2 台 8 卡 H100，或 1 台 8 卡 H20，或 1 台 8 卡 H200 来实现所有模型参数的内存卸载。
如果按这种说法，只有预算至少在 200 万以上的企业级应用才能用上 R1 本地化部署。
因此，Unsloth.AI 社区推出的量化版本 R1 可以作为使用满血版 R1 前的“试用装”。
——Unsloth：我们探索了如何让更多的本地用户运行它，并设法将 DeepSeek 的 R1 671B 参数模型量化为 131GB，从原来的 720GB 减少了 80%，同时非常实用。
在实际部署中，不同的动态量化版本的效果不同：
正好，我们实验室有 8 卡 H20（每张卡 96GB 显存）服务器，我们接下来将用它来部署量化效果最好的 2.51Bit 的版本。
操作系统: ubuntu 22.04
软件:
ollama: v0.5.7
llama-gguf-split: 4611 (53debe6f)
模型: DeepSeek R1 671b2.51-bit量化
三、安装步骤
安装 ollama
1.下载并解压软件
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
2. 启动 ollama
ollama serve
下载模型文件
社区将 gguf 拆分成 5 个字文件，依次下载到本地：
https://modelscope.cn/models/unsloth/DeepSeek-R1-GGUF/files
也可以通过以下懒人命令下载：
pip install modelscope
modelscope download --model unsloth/DeepSeek-R1-GGUF DeepSeek-R1-UD-Q2_K_XL-00001-of-00005.gguf --local_dir ~/dir
modelscope download --model unsloth/DeepSeek-R1-GGUF DeepSeek-R1-UD-Q2_K_XL-00002-of-00005.gguf --local_dir ~/dir
modelscope download --model unsloth/DeepSeek-R1-GGUF DeepSeek-R1-UD-Q2_K_XL-00003-of-00005.gguf --local_dir ~/dir
modelscope download --model unsloth/DeepSeek-R1-GGUF DeepSeek-R1-UD-Q2_K_XL-00004-of-00005.gguf --local_dir ~/dir
modelscope download --model unsloth/DeepSeek-R1-GGUF DeepSeek-R1-UD-Q2_K_XL-00005-of-00005.gguf --local_dir ~/dir
合并模型文件，由于当前 ollama 还没有支持 gguf 分片启动，因此，需要使用 llama-gguf-split 工具将刚刚得到 5 个字文件进行合并操作。
1.安装 llama-gguf-split
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build cmake --build build --config Release
# 编译好的模型文件放在llama.cpp.git/build/bin中
2. 合并模型
cd build/bin
./llama-gguf-split --merge ~/dir/DeepSeek-R1-UD-Q2_K_XL/DeepSeek-R1-UD-Q2_K_XL-00001-of-00005.gguf ~/dir/DeepSeek-R1-UD-Q2_K_XL/DeepSeek-R1-2.51bit.gguf
ollama 运行启动
1. 导入 gguf 并创建模型
echo "FROM ~/dir/DeepSeek-R1-UD-Q2_K_XL/DeepSeek-R1-2.51bit.gguf" > ~/Modelfile
cd ~
ollama create deepSeek-quant-2.51bit -f Modelfile
2. 验证
ollama list
看到如下输出，即说明 R1 模型启动成功：
四、测试效果
1.对话效果
因测试前端软件运行的本人电脑，与运行 ollama 和 DeepSeek-R1 的机器放在相同局域内网，因此，需要调整 ollama 配置，并重新启动。
ubuntu 在默认位置 /etc/systemd/system/ollama.service 文件中的 [Service] 下面添加：
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
通过局域网的电脑中安装 Cherry Studio 软件，并配置添加后台 API 信息，以我的环境为例，添加了一条命名为“local”的 OpenAI 类型的模型服务接口（如下图）。
在对话页面，就可以像其他网页大模型一样跟我们搭建好的本地大模型进行对话。
此时，在后台查看 GPU 使用情况，可以看到 GPU 内存平均每张卡占用 30GB 左右。
2. 测试启动模型的最小 GPU 卡数
减少 GPU 卡重新运行，如果将 GPU 卡减少到 4 块，实际使用的是序号为“0、1、2、3”四块 GPU，在提问相同问题时，GPU 的显存占用翻倍。
进一步如果将 GPU 卡减少到 2 块，在提问相同问题时，发现 GPU 的显存溢出，无法提供正确的回答。
因此，用 ollama 运行 DeepSeek-R1-2.51Bit 量化版本，建议使用 3～4 块 H20。
3. 测试 1.58-bit 量化所需卡数
进一步降低量化精度，采用 1.58-bit 量化版本，实际测试两块 H20 显卡能够运行成功。
五、总结
DeepSeek-R1 系列发布了 8 个开源模型，其中原生 DeepSeek 的只有 R1-Zero 和 R1，其他模型则是基于 DeepSeek 基础模型进行知识蒸馏，并采用 Qwen 或 LLaMA 架构的二次开发版本。
本文动手部署了原生的 R1 版，当然受限于硬件条件限制采用了 2.51-bit 量化方案，并实际测试得出需要使用 4 块 H20 来进行部署 2.51-bit 量化的版本，需要 2 块 H20 来部署 1.58-bit 量化的版本。
此外，根据社区的一些分析，R1 经 1.58-bit 量化后最小可以部署在 1 张 4090 卡上，当然这种情况需要反复加载激活参数，对推理速度有较大的影响。
六、如何系统学习掌握AI大模型？
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。
这里给大家精心整理了一份
全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
1. 成长路线图&学习规划
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
2. 大模型经典PDF书籍
书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）
3. 大模型视频教程
对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。
4. 2024行业报告
行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
5. 大模型项目实战
学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。
6. 大模型面试题
面试不仅是技术的较量，更需要充分的准备。
在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以
微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】
扫一扫
827
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
