DeepSeek v3为何爆火？如何用其集成Milvus搭建RAG？

最近，DeepSeek v3（一个MoE模型，拥有671B参数，其中37B参数被激活）模型全球爆火。

作为一款能与Claude 3.5 Sonnet，GPT-4o等模型匹敌的开源模型DeepSeek v3不仅将其算法开源，还放出一份扎实的技术报告，详尽描述了DeepSeek是如何进行大模型架构、算法工程协同设计，部署，训练，数据处理等方面的思考，堪称是一份DeepSeek给开源社区送上的年末大礼。

本篇文章，我们会对DeepSeek v3的亮点进行梳理，并对其RAG搭建流程与效果，做一个简单的示例。

01.

DeepSeek v3的亮点

亮点一：超低的训练成本，将带来算力的极大富余

相比于海外大厂动辄上万甚至上十万的H100集群（例如Meta使用了16K的H100训练Llama3.1 405B），DeepSeek仅仅使用了2048张丐版显卡H800就在14.8T数据上训练了一个处于第一梯队的开源模型。以下是DeepSeek v3的训练成本数据。

不难看出，基于以上数据，传统对大模型对算力的供需预测推演直接被推翻，过去Scaling law曲线所估算出的GPU需求数量会出现极大冗余。

那么问题来了，DeepSeek v3是如何做到的？

亮点二：颠覆GPT架构，极致的工程设计

在去年，大模型领域普遍认为模型的设计已经收敛到Decoder-only的GPT架构，但DeepSeek依然没有放弃对模型架构的进一步探索。

这一次V3的设计延用了V2提出的MLA（Multi-head Latent Attention），这是一种通过低秩压缩键值对来减少缓存需求的创新架构，以提高Transformer模型的推理效率。

另外，此次的MoE模型规格也比之前大了许多（V3 671B， V2 236B），也体现出了对这个架构拥有更多的信心和经验。DeepSeek V3将除前三层外的所有 FFN 层替换为 MoE 层。每个 MoE 层包含 1 个共享专家和 256 个路由专家。在路由专家中，每个 token 将激活 8 个专家，并确保每个 token 最多会被发送到 4 个节点。

同时，论文还对如何在系统中设计将这种架构进行推理的性能优化也进行了详尽的描述。

DeepSeek V3使用了多token预测（MTP），即每个 token 除了精确预测下一个 token 外，还会预测一个额外的 token，通过投机采样的方式提高推理效率。

关于如何使用FP8进行模型训练这个各个大模型工程团队头痛的问题，DeepSeek V3也对自己的实践有细致的描述，对这部分感兴趣的朋友强烈推荐阅读论文原文。

亮点三：通过蒸馏推理模型进行后训练

自从OpenAI发布了o1模型之后，业界开始逐渐兴起了探索这种内置思维琏（CoT）的模型，它不断对中间结果探索分析的过程仿佛人的“慢思考”。DeepSeek同样也开发了类似的R1模型，在DeepSeek V3中，DeepSeek创新性地通过在后训练阶段使用R1得到的高质量答案来提高了自身的性能。这一点也非常有趣。

众所周知，类似o1的开源模型大部分都是从基础模型利用CoT结合强化学习的技巧训练出来提高了推理效果，而现在又通过蒸馏推理模型获得了下一代更好的基础模型，这一种模型和数据质量互相交织的发展模式贯穿着机器学习发展的历史，而还将继续被见证。

而以发掘非结构化数据价值的厂商Zilliz也相信对于数据和知识的高效管理，将会一直在智能化浪潮发展中扮演着重要的角色。

看到10K$的后训练成本，相信许多致力于微调专属大模型的厂商都跃跃欲试，在这里我们也来看一下DeepSeek V3的后训练过程，整个流程也比传统的SFT要复杂一些。整个过程分成了SFT阶段（监督学习）以及RL阶段（强化学习），在SFT阶段，他们将数据分成了两种类型，推理数据以及非推理数据

推理数据：

包括数学，编程这些问题，DeepSeek训练了针对性的专家模型，并使用专家模型为每一个问题生成了两种格式的学习数据。

• <problem, original response>

• <system prompt, problem, R1 response>

非推理数据：