昇腾MindSpeed大规模MoE训推共卡强化学习，后训练资源利用率提升40%

昇腾MindSpeed大规模MoE训推共卡强化学习，后训练资源利用率提升40%

昇腾AI开发者 2025年03月24日 17:35 广东

DeepSeek R1将模型训练推向基于强化学习的后训练新范式，让各行业也能快速构建行业高质量模型。后训练的核心主要在通过强化学习让模型涌现出自我验证、自我思考的长CoT（思维链）能力，让模型产生长CoT是后训练的推理任务，因此强化学习（RL）需要进行目标模型的训练和推理，而目标模型的推理和训练负载特征差异大，分离方案训练推理任务相互等待，资源利用率低。昇腾MindSpeed RL在后训练过程中采用训推共卡特性，让训练推理任务分时利用集群资源，降低训推切换时延和内存峰值，提升资源利用率和吞吐性能，是业界首个在大规模MoE模型RL训练上支持训推共卡。