（1-2）DeepSeek概述：DeepSeek的架构概览

1.2  DeepSeek的架构概览

DeepSeek模型是基于经典的Transformer模型架构的，并进行了深度优化。采用了混合专家（Mixture-of-Experts, MoE）架构，通过稀疏激活提升模型效率。此外，DeepSeek引入了动态路由网络，智能地调配计算资源，以高效处理长文本和复杂逻辑任务。

1.2.1  DeepSeek的整体架构设计

DeepSeek的整体架构设计以高效处理长文本和提升推理效率为核心目标，主要包含如下所示的几个关键组成部分。

1. Multi-head Latent Attention (MLA)

1. 低秩联合压缩：MLA通过将Key与Value分解为低秩矩阵并进行联合压缩，减少了需要存储和访问的数据量，从而降低了推理阶段的显存与时间开销。
2. 显式位置编码融合：结合位置编码，使得模型能够在压缩后依旧保留序列顺序信息。
3. 并行化计算优化：对压缩后的Key-Value进行并行操作，兼顾了注意力的灵活性与推理速度的提升。

2. DeepSeekMoE 架构

1. 专家混合系统：DeepSeekMoE架构融合了专家混合系统(MoE)、多头潜在注意力机制(MLA)和RMSNorm三个核心组件。通过专家共享机制、动态路由算法和潜在变量缓存技术，该模型在保持性能水平的同时，实现了相较传统MoE模型40%的计算开销降低。
2. 动态路由机制：针对输入令牌嵌入，路由器通过门控网络从多个专家中选择最相关的专家。这种机制确保了计算的高效性和模型性能的稳定性。
3. 无辅助损失的负载均衡策略：DeepSeek-V3通过动态调整专家偏置，实现了负载均衡，避免了传统方法中因强制负载均衡而导致的模型性能下降。

3. 多Token预测训练目标（MTP）

同时预测多个Token：在训练过程中，模型不仅预测下一个Token，还预测后续多个位置的Token。这种机制增加了训练信号密度，有助于模型学习长期依赖关系，提高生成质量。

4. 层级策略优化

1. 混合专家系统（MoE）：内置多个专家子网络，通过精细的门控机制按需激活，增强模型容量，同时保持计算成本可控。
2. 分阶段训练：包括预训练阶段、对齐阶段和领域微调阶段，确保模型在不同任务和领域的表现。

5. 其他优化

1. FP8混合精度：大幅加速训练速度，在支持硬件条件下可实现更高吞吐量。
2. 多语言与多领域数据：模型具备一定的跨语言能力，可在通用场景下保持较佳表现。

总之，DeepSeek的整体架构设计通过这些创新和优化，实现了在超大规模参数与实际推理效率之间的平衡，显著提升了模型的性能和应用价值。

1.2.2  DeepSeek的模块划分

DeepSeek 模型采用了多层次的模块化设计，以提升其性能和效率。

1.输入嵌入模块

1. 功能：将输入文本转化为模型可处理的向量表示。
2. 细节：通过词嵌入和位置嵌入的组合，为每个输入Token生成一个固定维度的向量表示。

2.Transformer模块

（1）多头潜在注意力机制（MLA）

1. 功能：高效处理序列信息，降低计算和存储需求。
2. 细节：通过低秩压缩技术，将Token的特征压缩到较小的潜在空间，再通过上投影矩阵恢复到Key、Value空间。

（2）专家混合系统（MoE）

1. 功能：通过多个专家子网络提高模型容量和计算效率。
2. 细节：每个MoE层包含1个共享专家和256个路由专家，每个Token选择8个专家进行处理。

（3）RMSNorm归一化层

1. 功能：稳定训练过程，加速模型收敛。
2. 细节：在每个Transformer模块中使用RMSNorm归一化层，对输入数据进行归一化处理。

3.优化策略模块

（1）多Token预测训练目标（MTP）

1. 功能：增加训练信号密度，提高生成质量。
2. 细节：在训练过程中，模型不仅预测下一个Token，还预测后续多个位置的Token。

（2）负载均衡策略

1. 功能：确保专家负载均衡，提高模型性能。
2. 细节：通过动态调整专家偏置项，实现负载均衡，无需额外的辅助损失函数。

4.输出层

1. 功能：将Transformer模块的输出转化为最终的预测结果。
2. 细节：通过一个线性层将Transformer的输出映射到词汇表大小的维度，得到每个Token的预测概率分布。

5.其他辅助模块

（1）FP8混合精度训练模块

1. 功能：降低训练时的GPU内存占用和计算开销。
2. 细节：通过精细的量化策略和高精度累加，实现FP8混合精度训练。

（2）残差流分形解码架构

1. 功能：提高推理效率。
2. 细节：通过主次双Token预测和动态损失融合，提升单次前向传播的学习效率。

1.2.3  DeepSeek与其他模型的技术对比

DeepSeek 模型在人工智能领域引起了广泛关注，其性能和特点与其他大型语言模型（LLM）相比，展现出独特的优势和差异。

1. 与GPT系列对比

1. 技术架构：DeepSeek采用混合架构，结合了深度学习与强化学习技术，注重高效性和灵活性，支持快速迭代和定制化开发；GPT系列基于Transformer架构，以其强大的语言生成能力和上下文理解能力著称。
2. 性能表现：DeepSeek在语言生成任务中表现出色，尤其在中文语境下的表现优于GPT系列，生成的文本更加符合中文表达习惯，且在多轮对话中能够保持较高的连贯性；GPT-4在英文任务中表现优异，但在处理中文时偶尔会出现语义偏差或文化背景理解不足的问题。
3. 计算效率与资源消耗：DeepSeek在计算效率上表现优异，其模型设计优化了资源消耗，适合在资源有限的环境中部署；GPT-4和Gemini由于模型规模较大，对计算资源的需求较高，部署成本较高。
4. 应用场景：DeepSeek适用于多种场景，包括智能客服、内容创作、教育辅助和数据分析等，其高效性和灵活性使其在企业级应用中具有较大优势；GPT系列在内容创作、代码生成和学术研究等领域表现优异，但其高昂的部署成本限制了其在中小企业中的应用。

2. 与Claude对比

1. 技术架构：DeepSeek采用混合架构，注重高效性和灵活性；Claude以“对齐性”为核心设计理念，注重模型的道德和安全性能。
2. 性能表现：DeepSeek在语言生成任务中表现出色，尤其在中文语境下的表现优于Claude；Claude在生成内容的安全性上表现优异，但在复杂语言任务上的灵活性和创造力稍显不足。
3. 计算效率与资源消耗：DeepSeek在计算效率上表现优异，适合在资源有限的环境中部署；Claude在计算效率上表现较好，但其生成速度略慢于DeepSeek。
4. 应用场景：DeepSeek适用于多种场景，包括智能客服、内容创作、教育辅助和数据分析等；Claude在需要高安全性和道德标准的场景（如法律咨询、医疗辅助）中表现优异，但其应用范围相对较窄。

3. 与Gemini对比

1. 技术架构：DeepSeek采用混合架构，注重高效性和灵活性；Gemini是多模态AI模型，能够同时处理文本、图像和音频等多种数据类型，其架构设计注重多模态融合。
2. 性能表现：DeepSeek在语言生成任务中表现出色，尤其在中文语境下的表现优于Gemini；Gemini在多模态任务中表现突出，但在纯文本生成任务上略逊一筹。
3. 计算效率与资源消耗：DeepSeek在计算效率上表现优异，适合在资源有限的环境中部署；Gemini由于模型规模较大，对计算资源的需求较高，部署成本较高。
4. 应用场景：DeepSeek适用于多种场景，包括智能客服、内容创作、教育辅助和数据分析等；Gemini在多模态任务（如图像描述、视频分析）中表现突出，适合用于多媒体内容生成和分析。

4. 与Switch Transformer对比

1. 参数效率：在配置64个专家（其中8个共享）的情况下，DeepSeekMoE较Switch Transformer（64个专家）实现了1.8倍的吞吐量提升，同时参数量降低30%。
2. 训练效率：相比参数规模相当（13B）的密集Transformer，DeepSeekMoE训练速度提升2.1倍。
3. 推理性能：MLA缓存机制使自回归任务的延迟降低35%。
4. 模型性能：在WikiText-103测试集上，DeepSeekMoE的困惑度达到12.3，优于Switch Transformer的14.1；在WMT'14 EN-DE测试集上，DeepSeekMoE的BLEU得分达44.7，较Transformer++提升2.1分。

5. 与Llama对比

1. 训练成本：DeepSeek-V3的训练费用相比GPT-4等大模型要少得多，据外媒估计，Meta的大模型Llama-3.1的训练投资超过了5亿美元。
2. 性能表现：DeepSeek-V3在多项评测中表现优异，甚至直逼世界顶尖的闭源模型GPT-4o和Claude-3.5-Sonnet。

总体而言，DeepSeek 模型在性能、成本效益、开源策略、技术架构和应用领域等方面，与其他大型语言模型相比，展现出独特的优势和差异。在DeepSeek官网展示了与其他大模型的对比数据，如图2-1所示。

图2-1  DeepSeek与其他大模型的对比数据

根据图2-1中的对比数据，可以总结出以下对比信息。

1. 综合性能与推理能力

1. 推理速度和效率提升明显：DeepSeek-V3 相较于历史模型（如 DeepSeek-V2.5、Qwen2.5 和 Llama3.1）在推理速度上有大幅提升，这表现在 DROP、IF-Eval、LiveCodeBench 等多项指标上，其 3-shot F1 分数、Prompt Strict 模式下的表现以及代码生成任务均领先于其他开源模型。
2. 综合能力出众：在 MMLU（包括标准版、Redux 及 Pro 版本）的英语评测中，DeepSeek-V3 的表现处于高水平，甚至与部分闭源模型（如 Claude-3.5 和 GPT-4o）相当。中文评测（CLUEWSC、C-Eval 和 C-SimpleQA）上，DeepSeek-V3 同样取得了最高分数，显示出其跨语言综合能力的均衡性。

2. 参数架构与效率

1. MoE 架构优势：DeepSeek-V3 采用混合专家（MoE）架构，使得其在总参数量（671B）远高于某些密集模型（如 Qwen2.5 的 72B、Llama3.1 的 405B）的同时，通过仅激活部分参数（37B）实现高效计算。这种设计不仅提升了模型容量，也保证了推理时的高效能。

3. 代码（Code）与数学（Math）能力

1. 代码生成任务：在 HumanEval-Mul、LiveCodeBench 以及 Codeforces 等代码任务上，DeepSeek-V3 均表现优于同类开源模型，显示出其在复杂编程和逻辑推理任务上的能力。
2. 数学题解能力： 表中 AIME 2024、MATH-500 和 CNMO 2024 等数学评测数据表明，DeepSeek-V3 在数学推理和问题解决上有明显优势，其 Pass@1 及 EM 分数均高于其他模型，体现了更强的逻辑和数学处理能力。

4. 与闭源模型的对比：与闭源模型旗鼓相当

虽然部分指标如 GPQA-Diamond 和 SimpleQA 上，闭源模型（如 Claude-3.5 和 GPT-4o）仍有一定优势，但整体来看，DeepSeek-V3 在大多数评测中都处于领先地位或与顶尖闭源模型不相上下，成为开源模型中的佼佼者。

5. 对比结论

1. DeepSeek-V3在多个领域和任务中表现出色，尤其是在English、Code和Math等领域的任务中，其表现与世界上最先进的闭源模型不分伯仲。
2. DeepSeek-V3在开源模型中位列榜首，显示出其在综合能力上的强大竞争力。
3. DeepSeek-V3在多个指标上表现优异，显示出其在技术架构和训练方法上的优化效果。

综上所述，DeepSeek-V3 在推理速度、综合语言理解、代码生成以及数学推理等多个维度上均展现出显著的优势。其采用的 MoE 架构和高效的参数激活机制使其在保持大规模模型容量的同时，实现了高效计算和优异表现，已成为目前大模型主流榜单中开源模型的领跑者，并与世界上最先进的闭源模型比肩。