阿里：思维模式融合优化Qwen3

📖标题：Qwen3 Technical Report
🌐来源：arXiv, 2505.09388

🌟摘要

🔸在这项工作中，我们介绍了Qwen3，Qwen模型家族的最新版本。Qwen3由一系列大型语言模型（LLM）组成，旨在提高性能、效率和多语言能力。Qwen3系列包括密集和混合专家（MoE）架构的模型，参数范围从6亿到2350亿不等。
🔸Qwen3的一个关键创新是将思维模式（用于复杂的多步推理）和非思维模式（适用于快速的上下文驱动响应）整合到一个统一的框架中。这消除了在不同模型之间切换的需要，例如聊天优化模型（如GPT-4o）和专用推理模型（如QwQ32B），并允许基于用户查询或聊天模板进行动态模式切换。同时，Qwen3引入了一种思维预算机制，允许用户在推理过程中自适应地分配计算资源，从而根据任务复杂性平衡延迟和性能。此外，通过利用旗舰模型的知识，我们大大减少了构建小规模模型所需的计算资源，同时确保了它们具有高度竞争力的性能。
🔸实证评估表明，Qwen3在各种基准测试中取得了最先进的结果，包括代码生成、数学推理、代理任务等，与更大的MoE模型和专有模型竞争。与前身Qwen2.5相比，Qwen3将多语言支持从29种语言扩展到119种语言和方言，通过提高跨语言理解和生成能力来增强全球可访问性。为了促进可重复性和社区驱动的研发，所有Qwen3模型都可以在Apache 2.0下公开访问。项目在https://github.com/QwenLM/Qwen3

🛎️文章简介

🔸研究问题：如何通过改进模型架构和训练数据来提升大语言模型（LLM）的性能和多样性？
🔸主要贡献：Qwen3系列模型通过引入新的架构设计和多模态训练策略，显著提升了在多个任务和领域中的表现，并增强了多语言支持能力。

📝重点思路

🔸Qwen3模型采用与Qwen2.5相似的架构，但引入了Grouped Query Attention (GQA)、Rotary Positional Embeddings和RMSNorm等技术，以确保稳定训练。
🔸预训练过程中使用了约36万亿个标记的多样化数据集，涵盖119种语言和方言。采用三阶段的预训练策略，第一阶段建立基础知识，第二阶段提升推理能力，第三阶段增加长上下文处理能力。
🔸采用了四阶段的后训练过程，第一阶段长思维链冷启动，第二阶段用冷启动阶段未使用的数据做推理RL，第三阶段思维模式和非思维模式融合，第四阶段通用RL增强模型的能力和稳定性。
🔸Qwen3模型包括6个密集模型和2个专家混合模型，参数范围从6亿到235亿不等，以满足不同下游应用的需求。

🔎分析总结

🔸实验结果表明，Qwen3系列模型在多个标准基准测试中表现出色，尤其在编码、数学和推理任务上表现优异。
🔸Qwen3-235B-A22B模型在复杂推理任务中表现优于许多闭源模型，如OpenAI的GPT-4o，展示了其强大的推理能力。
🔸增加思维预算对于提升模型在各类任务上的表现具有显著效果，表明模型在处理复杂任务时的灵活性和适应性。
🔸轻量级模型（如Qwen3-30B-A3B）在拥有更少激活参数的情况下，仍能超越更大参数模型的表现，显示了强到弱蒸馏方法的有效性。

💡个人观点

论文的创新点在于思维模式和非思维模式的灵活切换机制，使得用户能够根据任务需求动态调整模型的推理能力，同时通过大规模多样化的数据集和改进的训练策略，显著提升了模型在多语言和复杂任务上的表现。

🧩附录