DeepSeek系列论文解读二之DeepSeek V3

已于 2025-02-14 21:16:29 修改
阅读量978 收藏 10
点赞数 26
文章标签： 论文笔记
于 2025-02-14 00:10:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57597568/article/details/145623008
版权

DeepSeek系列论文解读二之DeepSeek V3

DeepSeek V3

DeepSeek-V3 Technical Report

原文：https://arxiv.org/abs/2412.19437

总结

DeepSeek-V3是一个大型的专家混合(MoE)语言模型，总共有671B个参数，每个令牌激活37B个参数。它采用了多头潜在注意力(MLA)和DeepSeekMoE架构进行高效推理和经济高效的训练，这些在DeepSeek-V2中得到了验证。DeepSeek-V3还开创了一种无辅助损失策略来实现负载平衡，并使用多令牌预测训练目标来提高性能。该模型是在140万亿个高质量多样的令牌上预训练的，然后进行了监督微调和强化学习阶段。全面的评估表明，DeepSeek-V3的性能优于其他开源模型，并且与领先的闭源模型相当，但只需要2.788M个H800 GPU小时就可以完成完整的训练。

论文研究问题

论文的主要目标是实现高效的推理和成本效益的训练。为了解决这些问题，论文提出了以下几个关键点：

  • 架构优化：DeepSeek-V3采用了多头潜在注意力（Multi-head Latent Attention，MLA）和DeepSeekMoE架构，这些在DeepSeek-V2中已经得到了验证，能够保持模型性能的同时实现高效的训练和推理。

    在这里插入图片描述

  • 无辅助损失的负载均衡策略：为了解决模型性能因负载均衡而退化的问题，DeepSeek-V3引入了一种无辅助损失的负载均衡策略，以最小化因鼓励负载均衡而对模型性能产生的不利影响。

  • 多标记预测训练目标：DeepSeek-V3采用了多标记预测（Multi-Token Prediction，MTP）训练目标，这被观察到可以增强模型在评估基准上的整体性能。

    在这里插入图片描述

  • 高效的训练支持：支持 FP8 计算和存储，加速训练并减少 GPU 内存使用。设计 DualPipe 算法实现高效的流水线并行处理，通过计算-通信重叠减少通信开销。

  • 预训练和上下文扩展：DeepSeek-V3在14.8万亿高质量和多样化的标记上进行预训练，并进行了两阶段的上下文长度扩展，以增强模型处理长上下文的能力。

  • 后训练优化：包括监督式微调和强化学习，以进一步解锁模型潜力，并使其与人类偏好对齐。

  • 经济高效的训练成本：尽管性能出色，DeepSeek-V3的训练成本仅为2.788M H800 GPU小时，训练过程非常稳定，没有经历任何不可恢复的损失峰值或回滚。

论文实验以及相关技术

架构和训练策略评估

  • 无辅助损失的负载均衡策略 ：通过与传统的辅助损失方法对比，验证了无辅助损失策略在保持模型性能的同时实现负载均衡的有效性。
    在这里插入图片描述

  • 多标记预测（MTP）策略 :在不同规模的模型上应用MTP策略，并与其他基线模型比较，评估MTP对模型性能的影响。
    在这里插入图片描述### 基础设施和训练框架测试

  • DualPipe算法 :通过实验验证了DualPipe算法在减少流水线气泡和隐藏通信开销方面的效率

  • 跨节点All-to-All通信 : 测试了定制的跨节点All-to-All通信核的性能，确保高效的通信和计算重叠

  • 内存占用优化 : RMSNorm 和 MLA 向上投影的重计算，CPU 中的指数移动平均（EMA），多令牌预测的共享嵌入和输出头

  • FP8混合精度训练框架 ：在不同规模的模型上应用FP8训练，并与传统的BF16训练对比，验证FP8训练框架的有效性和准确性。

预训练和上下文扩展

  • 长上下文扩展 ：通过两阶段的上下文长度扩展训练，验证模型处理长上下文的能力，并在“Needle In A Haystack”测试中评估模型性能。

后训练优化

  • 监督微调（SFT） :在多个领域的数据集上进行微调，评估模型在特定任务上的性能提升。

  • 强化学习（RL） : 通过使用不同的奖励模型和策略优化，测试模型在对齐人类偏好和提升性能方面的有效性。
    在这里插入图片描述### 综合基准测试

  • 多语言和多领域评估 : DeepSeek-V3 在一系列包括教育、语言理解、问答、编程和数学等多个领域的标准和开放式基准测试中进行了评估，并与当前最强的开源和闭源模型进行比较。（具体可见原文4.4 5.3）

经济性分析

  • 训练成本分析 ：分析DeepSeek-V3的总训练成本，包括预训练、上下文扩展和后训练阶段的GPU小时数和成本。
    在这里插入图片描述### 硬件设计建议

GPU小时数和成本。[外链图片转存中…(img-IPJWStGi-1739462810361)]

硬件设计建议

  • 通信和计算硬件的优化 ： 基于DeepSeek-V3的实施经验，提出针对未来AI硬件设计的通信和计算硬件的建议。这些实验和评估不仅验证了DeepSeek-V3模型的技术策略和性能，还展示了其在多个领域的应用潜力和经济效益。通过这些综合测试，论文全面展示了DeepSeek-V3作为当前最强开源模型的能力。
DeepSeek-V3 Technical Report
c_cpp_csharp的专栏
01-07 845
我们提出了DeepSeek-V3，这是一个强大的混合专家（MoE）语言模型，总参数为671B，每个token激活37B。为了实现高效的推理和经济高效的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。此外，DeepSeek-V3开创了一种用于负载平衡的辅助无损失策略，并设定了多token预测训练目标以提高性能。
AI学习指南DeepSeek篇(10)-论文导读 DeepSeek-V3 Technical Report
俞兆鹏的博客
02-24 88
论文标题发布时间：2024 年 12 月论文地址arXiv链接主要内容模型规模：DeepSeek-V3 是一个拥有 6710 亿参数的大规模混合专家（MoE）语言模型，每个 token 激活 370 亿参数。架构创新：采用多头潜在注意力（MLA）和 DeepSeekMoE 架构，结合无辅助损失的负载均衡策略和多令牌预测（MTP）训练目标，显著提升了模型性能。训练效率。
deepseek各个版本及论文
热门推荐
evanzh7的博客
01-26 2万+
论文地址：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf5。论文地址：https://arxiv.org/abs/2401.0295420。论文地址：https://arxiv.org/abs/2412.1943714。论文地址：https://arxiv.org/abs/2401.060662。论文地址：https://arxiv.org/abs/2501.129481。
【大模型】Deepseek V3 论文解读
最新发布
songxia928_928的博客
03-13 679
文章介绍了具有6710亿参数的混合专家模型DeepSeek-V3，通过创新架构、高效训练和优化策略，在性能上超越开源模型且与闭源模型相当，同时保持较低训练成本。fill:#333;color:#333;color:#333;fill:none;研究背景模型架构训练基础设施预训练后训练研究结论大语言模型发展迅速,开源模型追赶闭源模型DeepSeek-V3旨在提升开源模型能力,平衡性能和成本基础架构:基于Transformer框架,采用MLA和DeepSeekMoE架构。
DeepSeek-v3：开源大模型新高度，最强性能，最高性价比！（论文详解）
sherlockMa的博客
12-29 1万+
DeepSeek-V3是一个具有671B参数的大型Mixture-of-Experts语言模型，采用Multi-head Latent Attention和DeepSeekMoE架构以提高训练效率和推理性能。模型通过无辅助损失的负载平衡策略和多token预测训练目标优化，预训练于14.8万亿tokens，并经过监督微调和强化学习以提升性能。DeepSeek-V3在多个基准测试中表现优异，尤其在代码和数学任务上，与顶尖闭源模型媲美，而训练成本仅为2.788M H800 GPU小时。
【论文学习】DeepSeek-V3 总结
洛北辰南的博客
02-25 884
本文介绍了 DeepSeek-V3，这是一个拥有 6710 亿总参数的混合专家（MoE）语言模型，每次激活 370 亿参数。为了实现高效的推理和成本效益的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，并引入了无辅助损失的负载均衡策略以及多令牌预测训练目标。DeepSeek-V3 在 14.8 万亿个高质量、多样化的令牌上进行预训练，随后经过监督式微调和强化学习阶段，以充分发挥其能力。
把大模型的门槛打下来，DeepSeek-V3论文学习
Together_CZ的博客
12-30 2581
把大模型的门槛打下来，DeepSeek-V3论文学习
【DeepSeek论文精读】5. DeepSeek-V3 技术报告
youcans的博客
02-09 1万+
DeepSeek-V3是一款强大的混合专家（MoE）语言模型，总参数量为6710亿，在性能上超越了其他开源模型，并达到了与领先闭源模型相当的水平。 DeepSeek-V3不仅采用多头潜在注意力MLA和深度探索MoE架构，还开创了无辅助损失的负载均衡策略。
DeepSeek 系列论文解读
q742971636的博客
02-19 577
*2024 年 1 月发布。提出新的缩放分配策略。结合**DeepSeekMoE**（更细粒度的专家，共享/路由结构）和**多头潜在注意力（MLA）**，通过减少KV缓存实现高效推理。- **数学/代码：** MATH-500（90.2% EM），LiveCodeBench（40.5% Pass@1），Codeforces（51.6%ile）。- **多步学习率调度分布**：训练初期2000步内达到最大值，然后80%的训练token之后减少到31.6%，接着到达90%的token时减少到10%。
DeepSeek-V3技术报告.pdf
02-08
DeepSeek-V3是DeepSeek-AI研发的一个强大的混合专家(Mixture-of-Experts, MoE)语言模型，总参数达到6710亿，每处理一个令牌时激活参数为370亿。为了实现高效的推理和成本效益的训练，DeepSeek-V3采纳了多头潜在注意...
DeepSeek v2/v3技术解读
hang on it more longer
02-09 1584
v2论文：[2405.04434] DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Modelv3论文：[2412.19437] DeepSeek-V3 Technical Reportv3源码：https://github.com/deepseek-ai/DeepSeek-V3我们提出了 DeepSeek-V2，一个强大的混合专家 (MoE) 语言模型，其特点是经济的训练和高效的推理。它包含 2360
三张图速通 DeepSeek-R1 论文和技术原理
zenRRan的博客
02-11 1270
知乎：木尧（已授权）链接：https://zhuanlan.zhihu.com/p/20538667476编辑：「深度学习自然语言处理」公众号总览最近在研究和复现 DeepSeek-R1（671B 参数 MoE，激活 37B 参数，128K 上下文的深度思考模型）论文，于是画了三张图来把整个论文核心内容总结一下，欢迎大家讨论！核心是三组模型：一是纯强化学习（后文简称 RL）方案训的 DeepSee...
万字详解 DeepSeek-V3 Technical Report
kebijuelun的博客
02-10 1375
2024 年中国 deepseek 发表的轰动全球的大模型论文。DeepSeek-V3 是目前开源 LLM 领域的新巅峰，在保持高性能的同时，训练成本远低于 GPT-4o。DeepSeek-V3 在数学、编程、逻辑推理和长文本处理方面表现极其出色，它采用了MoE 架构、长文本优化和高效训练方法。
DeepSeek-V3 技术报告
yorkhunter的博客
01-02 2498
24年12月来自深度探索公司的论文“DeepSeek-V3 Technical Report”。 DeepSeek-V3，是一个强大的混合专家 (MoE) 语言模型，总共有 671B 个参数，每个 token 有 37B 个激活参数。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用多头潜注意 (MLA) 和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到彻底的验证。此外，DeepSeek-V3 开创一种无辅助损失的负载平衡策略，并设置多 token 预测训练目标以获
【AI学习】DeepSeek-V3 技术报告学习：总体架构
bylander的博客
12-28 8782
翻了一下DeepSeek-V3 技术报告学习，太长，只是大概翻了一下，其中Multi-Token Prediction的技术就很亮眼。
【推理llm论文精读】DeepSeek V3技术论文_精工见效果
kakaZhui的博客
02-12 838
DeepSeek-V3是DeepSeek-AI团队推出的力作，一个强大的混合专家（Mixture-of-Experts，MoE）语言模型。它拥有671B的总参数量，但每个token仅激活37B参数，实现了效率和性能的平衡。DeepSeek-V3在架构上采用了多头潜注意力（Multi-head Latent Attention, MLA）和DeepSeekMoE，并在训练策略上进行了创新，引入了无辅助损失的负载均衡和多token预测目标。
Deepseek V3开源！多语言编程能力飙升，力压Claude 3.5 Sonnet V2
weixin_41446370的博客
12-26 818
该架构包含256个专家，并使用sigmoid路由方式，每次选取前8个专家(topk=8)参与计算，这种设计使得模型能够更加高效地处理复杂任务，并提高了性能。这款全新的AI模型在多语言编程能力上取得了重大突破，其在aider多语言编程测评中的表现，甚至超越了Claude3.5Sonnet V2等竞争对手，引发了业界广泛关注。据了解，Deepseek V3相比之前的版本，在性能上实现了质的飞跃。Deepseek V2.5在aider测评中的成功率仅为17%，而V3则暴增至48%，这充分展现了其强大的进步。
[EAI-025] DeepSeek-V3 技术报告解读
全性保真，不以物累形。
01-28 3364
DeepSeek-V3 是一个强大的专家混合 (MoE) 语言模型，有 6710 亿个参数，每个token激活 370 亿个参数。 为了实现高效的推理和低成本训练，采用了多头潜在注意力 (MLA) 和 DeepSeekMoE 架构。综合评估表明，DeepSeek-V3 的性能优于其他开源模型，并达到了与领先的闭源模型相当的性能。
【论文翻译】DeepSeek-V3论文翻译——DeepSeek-V3 Technical Report——第一部分：引言与模型架构
qq_58718853的博客
02-07 3807
Deepseek技术报告翻译第一部分：模型架构
Deepseek-V3解读
02-15
### DeepSeek-V3 的特点 DeepSeek-V3 是一种先进的大规模语言模型（LLM），其设计融合了多种创新技术来提升推理能力和整体性能。该模型通过引入新颖的方法，能够有效地从长链思考（long-Chain-of-Thought, CoT）模型中提取并优化推理能力，并将其集成到标准的大规模语言模型架构内[^3]。 这种改进不仅增强了模型的理解力和解决问题的能力，还使得开发者可以在保持输出风格一致性和长度可控的前提下利用这些增强功能。因此，在处理复杂查询时，DeepSeek-V3 能够提供更加精准且连贯的回答。 此外，DeepSeek-V3 在多个评估指标上展现了卓越的成绩，特别是在知识类任务方面，如 MMLU、MMLU-Pro、GPQA 和 SimpleQA 测试集中的表现几乎可以媲美目前最优秀的同类产品——Claude-3.5-Sonnet；而在涉及较长文本的任务测试里，则超过了竞争对手，在 DROP、FRAMES 及 LongBench v2 上取得了更好的成绩[^2]。 ### 更新内容 为了进一步提高模型的表现力和服务质量，开发团队针对 DeepSeek- **强化推理机制**：采用了一种新的方法论，可以从特定版本的 DeepSeek R1 系列模型中提炼出高效的推理模式，并成功应用于 DeepSeek-V3 中，从而显著提升了后者在这方面的效能。 - **控制输出特性**：除了加强核心算法外，这次更新还包括对最终生成结果的形式进行了精细调整，确保用户接收到的信息既具有逻辑性又易于理解，同时还能满足不同应用场景下的具体需求。 ### 使用方法 对于想要部署或试用 DeepSeek-V3 的技术人员来说，官方文档提供了详细的指南说明如何快速入门以及最佳实践建议。以下是基本的操作流程概述： #### 安装环境准备 首先需要准备好适合运行此大型预训练模型所需的计算资源与软件依赖项。通常情况下，这涉及到配置 GPU 加速器支持、安装 Python 解释器及相关库文件等准备工作。 ```bash pip install deepseek-v3 # 假设这是用于安装包管理工具命令 ``` #### 初始化实例化对象 完成上述步骤之后就可以创建一个新的 `DeepSeekV3` 类型的对象来进行交互操作了。 ```python from deepseek_v3 import DeepSeekV3 model = DeepSeekV3() ``` #### 提交请求获取响应 最后一步就是向已加载好的模型发送自然语言形式的问题或者指令，等待它返回经过精心构建的答案。 ```python response = model.generate(text="请解释什么是机器学习？") print(response) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值