【AI论文】Qwen3技术报告

摘要：在这项工作中，我们提出了Qwen3，这是Qwen模型家族的最新版本。 Qwen3 包含一系列大型语言模型（LLMs），旨在提高性能、效率和多语言能力。 Qwen3系列包括密集型和混合专家（MoE）架构的模型，参数规模从0.6到2350亿不等。 Qwen3的一个关键创新是将思维方式（用于复杂、多步骤推理）和非思维方式（用于快速、上下文驱动的响应）整合到一个统一的框架中。这消除了在不同模型之间切换的需要，例如聊天优化模型（例如GPT-4o）和专用推理模型（例如QwQ-32B），并实现了基于用户查询或聊天模板的动态模式切换。 同时，Qwen3引入了一种思维预算机制，允许用户在推理过程中自适应地分配计算资源，从而根据任务的复杂性平衡延迟和性能。 此外，通过利用旗舰模型的知识，我们显著减少了构建小规模模型所需的计算资源，同时确保了它们具有高度竞争力的性能。 实证评估表明，Qwen3在各种基准测试中取得了最先进的结果，包括代码生成、数学推理、代理任务等任务，与更大的MoE模型和专有模型相比具有竞争力。 与前代产品 Qwen2.5 相比，Qwen3 将多语言支持从 29 种扩展到 119 种语言和方言，通过改进跨语言理解和生成能力来增强全球可访问性。 为了促进可重复性和社区驱动的研究和开发，所有Qwen3模型都可以在Apache 2.0下公开访问。Huggingface链接：Paper page，论文链接：2505.09388

一、研究背景和目的

研究背景：

随着人工智能技术的飞速发展，大型语言模型（LLMs）已成为自然语言处理（NLP）领域的研究热点。近年来，诸如GPT-4o、Claude 3.7、Gemini2.5等闭源模型在多个任务上展示了卓越的性能，推动了AGI（通用人工智能）或ASI（超级人工智能）目标的追求。同时，开源社区也迅速崛起，发布了如Llama-4、Qwen2.5等高性能开源模型，显著缩小了开源与闭源模型之间的性能差距。

Qwen系列模型作为开源大语言模型的重要代表，自推出以来便受到了广泛关注。Qwen2.5作为该系列的上一代产品，已经在多个NLP任务上取得了显著成果。然而，随着应用场景的不断拓展和用户需求的日益多样化，对模型性能、效率和多语言能力的要求也越来越高。因此，开发新一代Qwen模型——Qwen3，成为了一项迫切而重要的任务。

研究目的：

本研究的主要目的是推出Qwen3，这一Qwen模型家族的最新版本。Qwen3旨在通过一系列创新技术，显著提升模型的性能、效率和多语言能力，以满足更广泛的应用需求。具体而言，研究目的包括：

1. 提升性能：通过引入更先进的模型架构和训练策略，使Qwen3在各类NLP任务上达到或超过当前最先进的闭源和开源模型。
2. 提高效率：优化模型架构和训练过程，减少计算资源消耗，提高训练和推理速度，以适应实时性和资源受限的应用场景。
3. 增强多语言能力：扩大模型支持的语言种类和方言数量，提升跨语言理解和生成能力，以满足全球用户的需求。
4. 推动开源研究：通过公开Qwen3的所有模型权重和训练代码，促进社区驱动的研究和开发，加速人工智能技术的进步。

二、研究方法

模型架构：

Qwen3系列包括密集型（Dense）和混合专家（Mixture-of-Experts, MoE）两种架构的模型，参数规模从0.6亿到2350亿不等。旗舰模型Qwen3-235B-A22B采用MoE架构，总参数达2350亿，激活参数为220亿。密集型模型如Qwen3-32B则采用全连接架构，适用于资源受限的环境。所有模型均使用Qwen的tokenizer，词汇量为151,669。

训练数据：

Qwen3的训练数据集规模庞大，覆盖了36万亿个tokens，支持多达119种语言和方言。数据集通过多模态方式构建，包括从PDF文档中提取文本、使用特定领域模型生成合成数据等。此外，还引入了多语言数据，以增强模型的跨语言能力。

训练策略：

Qwen3的训练过程分为三个阶段：

1. 通用阶段（S1）：使用约30万亿个tokens进行基础训练，建立强大的语言理解和世界知识基础。
2. 推理阶段（S2）：增加STEM、编码、推理和合成数据的比例，使用约5万亿个高质量tokens进行进一步训练，提升推理能力。
3. 长上下文阶段（S3）：收集高质量的长上下文语料库，将序列长度扩展至32,768个tokens，训练模型处理长文本的能力。

创新技术：

1. 思维模式与非思维模式：Qwen3创新性地集成了思维模式（用于复杂多步推理）和非思维模式（用于快速上下文驱动响应），允许模型根据用户查询或聊天模板动态切换模式。
2. 思维预算机制：引入思维预算机制，允许用户在推理过程中自适应分配计算资源，根据任务复杂度平衡延迟和性能。
3. 强弱模型蒸馏：利用旗舰模型的知识，显著减少构建小规模模型所需的计算资源，同时保持高度竞争力。

三、研究结果

性能评估：

Qwen3在多个基准测试中取得了显著成果，包括代码生成、数学推理、代理任务等。与前代产品Qwen2.5相比，Qwen3在各类任务上的性能均有显著提升，特别是在多语言支持方面，从29种语言扩展到了119种语言和方言。

具体表现：

1. 代码生成：Qwen3在代码生成任务上表现出色，与大型MoE模型和专有模型相比具有竞争力。例如，在LiveCodeBench v5基准测试中，Qwen3-235B-A22B模型取得了显著成绩。
2. 数学推理：在数学推理任务上，Qwen3同样表现优异。在MATH-500、AIME’24和AIME’25等基准测试中，Qwen3模型取得了高分，展示了强大的推理能力。
3. 多语言能力：Qwen3显著扩展了多语言支持，在Belebele基准测试中，与类似规模的Gemma模型相比取得了可比性能，同时显著优于Qwen2.5。

效率评估：

通过优化模型架构和训练策略，Qwen3在保持高性能的同时，显著提高了训练和推理效率。例如，在相同性能下，Qwen3-32B模型的计算资源消耗远低于Qwen2.5-72B模型。

四、研究局限

尽管Qwen3在多个方面取得了显著进展，但仍存在一些局限性：

1. 数据规模和模型容量：尽管Qwen3已经使用了庞大的训练数据集和先进的模型架构，但在某些极端复杂任务上，进一步提升数据规模和模型容量可能带来更好的性能。
2. 端到端训练的局限性：当前研究主要关注于预训练和微调阶段的优化，对于端到端训练在多模态学习中的潜力挖掘还不够深入。
3. 多语言支持的均衡性：尽管Qwen3支持多种语言和方言，但在某些低资源语言上的表现仍有待提升。

五、未来研究方向

针对Qwen3的局限性和当前研究的不足，未来研究方向包括：

1. 扩大数据规模和模型容量：继续收集更多高质量的训练数据，并探索更大规模的模型架构，以进一步提升模型性能。
2. 深化端到端训练研究：研究端到端训练在多模态学习中的潜力，探索如何通过端到端训练进一步提升视觉特征标记器和下游任务的性能。
3. 优化多语言支持：针对低资源语言，研究如何通过迁移学习、多任务学习等技术提升模型在这些语言上的表现。同时，继续扩大模型支持的语言种类和方言数量。
4. 探索新的应用场景：将Qwen3应用于更多实际场景中，如智能客服、智能教育、智能医疗等，通过实际应用反馈不断优化模型性能。

综上所述，Qwen3作为Qwen模型家族的最新版本，在性能、效率和多语言能力方面均取得了显著进展。通过不断创新和优化，Qwen3有望为人工智能技术的发展注入新的活力，推动NLP领域向更高水平迈进。