DeepSeek-V3 技术报告

1 概述

本文介绍了 DeepSeek-V3，一个强大的混合专家（MoE）语言模型，总参数量为 6710 亿，每个 token 激活的参数量为 370 亿。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到了充分验证。此外，DeepSeek-V3 率先采用了无辅助损失的负载均衡策略，并设定了多 token 预测训练目标，以提升性能。在 14.8 万亿个多样且高质量的 token 上对 DeepSeek-V3 进行了预训练，随后通过监督微调（SFT）和强化学习（RL）阶段充分释放其潜力。综合评估表明，DeepSeek-V3 优于其他开源模型，并与领先的闭源模型性能相当。尽管性能卓越，DeepSeek-V3 的完整训练仅需 278.8 万 H800 GPU 小时，且训练过程非常稳定，未出现任何不可恢复的损失峰值或回滚。

2 Architecture