近日，人工智能领域传来重要进展——DeepSeek团队正式发布最新实验模型V3.2-Exp。该模型在V3.1-Terminus版本基础上，突破性地引入自主研发的稀疏注意力机制（DSA），成功实现长上下文场景下训练与推理效率的双重优化。作为Transformer架构研究的持续探索者，DeepSeek团队始终聚焦文本序列扩展处理中的计算效率瓶颈，此次推出的细粒度稀疏注意力技术，在确保模型输出质量不受损的前提下，显著提升了长文本任务的处理性能。
项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V3.2-Exp 为精准验证DSA技术的实际效能，研发团队特别将V3.2-Exp的训练配置与V3.1-Terminus保持严格对齐。实验数据显示，新模型在各项基准测试中表现与前代产品相当，证实了稀疏注意力机制的技术可行性。目前，DeepSeek已同步发布V3.2-Exp的技术报告，详细阐述了这一创新架构的实现细节与性能表现。
创新训练范式：三阶段螺旋式能力进化
V3.2-Exp采用创新性的三阶段训练架构，构建了从密集到稀疏的能力进化路径。在密集训练阶段，模型保持完整的密集注意力机制，仅对lightning索引器进行针对性训练，其余参数全部冻结。该阶段总计完成1000步训练，每步包含16个长度为128K标记的序列，累计处理21亿个token，为索引器建立初步的序列理解能力。
进入稀疏训练阶段后，系统在索引器预热完成基础上，引入独创的细粒度token选择机制，同时对所有模型参数进行全面优化，使网络深度适应DSA的稀疏计算模式。技术团队特别将索引器输入从主计算图中解耦，实现独立优化调度，这一设计大幅提升了稀疏模式下的参数调优效率。
专家训练阶段同样沿用稀疏持续预训练阶段的注意力机制，为确保评估的严谨性，V3.2-Exp完整保留了与V3.1-Terminus相同的后训练流程、优化算法和数据集。针对不同应用场景，研发团队为每个任务开发专用模型，所有专家模型均基于相同的V3.2预训练基础检查点进行微调，形成专业化能力矩阵。
领域覆盖与数据提炼：构建全能专家系统
V3.2-Exp构建了覆盖多领域的专家模型体系，除基础写作和通用问答任务外，重点强化了五大专业领域能力：数学推理、竞技编程、逻辑演绎、代理编码和智能搜索。每个专用模型均经过大规模强化学习（RL）训练，并创新采用双模型并行策略——分别针对长链思维推理和直接响应生成构建训练数据。
实验结果显示，基于数据提炼技术训练的模型性能仅略低于特定领域专家模型，且这一微小差距可通过后续强化学习训练完全消除。这一发现为大规模模型的领域适配提供了全新思路，证明通过优化数据提炼流程，可在降低训练成本的同时保持专业能力。
混合强化学习：动态平衡多维度能力发展
在强化学习环节，V3.2-Exp继续采用GRPO算法作为核心训练框架，但在训练范式上实现重大突破。不同于以往模型的多阶段强化学习流程，新架构将推理能力、代理任务和人类对齐训练整合为单一强化学习阶段，这种创新性设计不仅有效平衡了不同领域的性能表现，更成功规避了传统多阶段训练中常见的灾难性遗忘问题。
奖励机制设计上采用二元分化策略：代理任务组合使用基于规则的结果奖励、长度惩罚因子和语言一致性奖励；通用任务则部署生成式奖励模型，为每个提示词配置专属评估标准。这种精细化奖励系统成功平衡了四个关键维度：输出长度与结果准确性的均衡、语言表达一致性与内容精确性的协同，构建了更加全面的模型优化目标。
性能评估：效率跃升与能力持平的完美平衡
基准测试数据显示，V3.2-Exp在长序列处理任务中展现出显著的计算效率提升，特别是在128K以上长度的文本序列上，推理速度较前代模型有明显优势。值得注意的是，尽管引入稀疏机制，模型在短上下文任务和长上下文任务中的表现均与V3.1-Terminus保持一致，未出现性能下降。
在BrowseComp和SWE Verified两大权威测评中，V3.2-Exp与V3.1-Terminus呈现高度一致的性能曲线，均保持稳定上升趋势，有力证明了DSA机制的训练稳定性。技术分析表明，相较于V3.1-Terminus采用的MLA架构，新模型的稀疏注意力机制显著降低了计算资源消耗，为大规模部署提供了成本优势。
DeepSeek技术团队表示，目前正积极开展V3.2-Exp在现实场景中的大规模测试，旨在进一步挖掘稀疏注意力架构的潜在局限。研发人员特别指出，该模型的仓库地址为https://gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V3.2-Exp，欢迎学术界和产业界共同探索稀疏注意力技术的应用前景。
技术启示与未来展望
V3.2-Exp的推出标志着大语言模型在效率优化领域进入新阶段。稀疏注意力机制的成功应用，为解决长文本处理中的计算瓶颈提供了有效方案，特别是在需要处理法律文档、学术论文、代码库等超长序列的场景中展现出巨大潜力。混合强化学习的单阶段训练范式，则为多能力模型的协同优化开辟了新路径。
随着技术报告的发布，业界得以深入了解DSA机制的实现细节，这将加速稀疏注意力技术的研究与应用。未来，DeepSeek团队计划进一步优化token选择策略，探索更大规模的稀疏模式，并拓展该技术在多模态序列处理中的应用，持续推动大语言模型向高效化、通用化方向发展。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
