Qwen 3技术报告详细解读

于 2025-05-21 21:37:10 发布
阅读量829 收藏 6
点赞数 15
分类专栏： 大模型LLMs 自然语言处理 面试经验 文章标签： 人工智能 自然语言处理 面试 学习 深度学习 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43520816/article/details/148124782
版权

近日，Qwen 3系列大模型正式发布，涵盖从0.6B到235B参数的多个规模版本，包括6个Dense模型和2个混合专家（MoE）模型。本文将从模型架构、预训练策略、后训练优化等方面进行全面解读，帮助读者深入理解Qwen 3的技术细节与创新之处。

1 模型架构

图片

1.1 基础架构

Qwen 3延续了Qwen 2.5的核心技术，包括：

  • GQA（Grouped Query Attention） ：平衡计算效率和建模能力

  • SwiGLU激活函数：提升非线性表达能力

  • RoPE（Rotary Position Embedding） ：增强位置编码效果

1.2 关键改进

相比Qwen 2.5，Qwen 3在注意力机制和MoE架构上进行了优化：

  1. QK-Norm取代QKV-bias

    • Qwen 2.5采用QKV-bias来稳定训练，但可能引入偏差

    • Qwen 3改用QK-Norm（Query-Key Normalization），通过归一化提升注意力计算的稳定性

    • 实验表明，该方法能有效缓解传统注意力机制的不稳定性问题

  2. MoE架构优化

    • 去除共享专家：Qwen 2.5-MoE包含部分共享专家，而Qwen 3-MoE完全采用独立专家

    • 引入Global-Batch Load Balancing Loss

  • MoE模型中，不同专家的计算负载可能不均衡

  • 该损失函数确保专家间的计算量合理分配，提高训练效率和任务均衡性

1.3 模型规模覆盖

Qwen 3系列包含多种参数规模的模型（0.6B、1.7B、4B、14B、72B、235B及MoE版本），尤其注重小模型的优化（如0.6B、1.7B），以适配边缘设备和移动端应用场景。

2 预训练

2.1 数据规模与多样性

  • 总数据量达36T tokens（是Qwen 2.5的两倍）

  • 支持119种语言和方言（覆盖范围扩大至Qwen 2.5的三倍）

2.2 三阶段训练策略

阶段详解

  1. S1阶段：语言与常识奠基

    • 使用大规模通用语料训练基础语言能力

    • 采用4k上下文窗口，确保高效训练

  2. S2阶段：推理能力专项提升

    • 引入高质量数学、代码、逻辑推理数据

    • 通过课程学习（Curriculum Learning）逐步增加难度

  3. S3阶段：长上下文扩展

    • 扩展序列长度至32k，适应文档理解、长对话等任务

    • 采用动态NTK（Neural Tangent Kernel）方法缓解长序列训练的稳定性问题

2.3 基座模型性能

图片

基座模型主实验

旗舰模型235B-A22B在大部分数据集上均为SOTA。其他小模型的结果详见下图。

图片

小基座模型实验结果

3 后训练

图片

Qwen 3 后训练流程图

Qwen3的后训练流程涵盖四个阶段，旨在使模型能够在不同模式下执行任务，并在不同任务中表现出色。小模型的性能主要通过蒸馏大模型来提升。

Stage1: Long-CoT冷启动

该阶段构建了一个综合数据集，覆盖数学、编程、逻辑推理及通用STEM问题，每个问题都配有经过验证的参考答案或基于代码的测试用例。

数据构建包括query filtering和response filtering两个阶段。

对于query的过滤，使用 Qwen2.5-72B-Instruct 来识别并剔除那些难以验证的问题，包括：

  • 含多个子问题的问题

  • 要求生成通用文本的问题

  • 那些 Qwen2.5-72B-Instruct 能不依赖 CoT 推理就直接答对的问题。这是想确保仅保留需要深度推理的问题。

此外，还用 Qwen2.5-72B-Instruct 给每个问题标注了所属领域，以保证领域覆盖的广度和平衡性。

对于response的过滤，使用QwQ-32B为每个问题生成 N 个候选response。对于 QwQ-32B 一直无法正确回答的题目，则进行人工标注。

对于通过 Pass@N 的问题，还需进一步筛选，剔除以下类型的response：

  • 最终答案错误

  • 存在大量重复内容

  • 明显是在猜测，没有充分推理过程

  • 推理过程与结论不一致

  • 存在不恰当的语言混杂或风格突变

  • 与评测集样本过于相似

经过严格筛选后，将选出的部分用于模型冷启动sft。这一阶段的目标是灌输基本推理模式，而非追求高性能。所以要尽量保留模型的潜力，便于在之后的强化学习阶段（RL） 进一步提升。为此，建议尽量减少训练样本量和训练步骤，以避免过早收敛。

Stage2: Reasoning RL

该阶段通过强化学习进一步提升模型的推理能力，使用了3,995个query-verifier pairs进行训练。

这些pairs的筛选必须满足以下四个标准：

  • 没有用于冷启动阶段

  • 适合冷启动后的模型学习：必须是冷启动模型可以理解并且能有效学习的，确保在推理能力上逐步进阶

  • 尽可能具有挑战性：能够推动模型的推理能力不断提升，不仅仅是简单任务的重复训练

  • 涵盖广泛的子领域：确保模型的全面性

训练技巧上采用了Large Batch Size和High Number of Rollouts per Query，Batch Size调大很好理解，High Number of Rollouts per Query指的一个query会被模型反复推理多次。算法用的GRPO，Qwen3-235B-A22B 模型在 170 个step后，AIME’24 分数从 70.1 提升至 85.1。

Stage3: Thinking Mode Fusion

该阶段的核心目的是将Think模式和No Think模式进行融合，使用户可以通过\think或者\no_think来控制模型是否进入思考模式。

SFT数据构建

SFT使用融合了“think”和“no_think”的数据。其中，think数据 query 来自 Stage 1 的任务，然后用 Stage 2 得到的模型进行拒绝采样生成response；“no_think”数据则覆盖代码、数学、多语言、指令跟随、创意写作、问答、角色扮演等更广泛的任务。为了提升模型对低资源语言的能力，特别提高了翻译任务的比例。

Chat模版设计

用户输入中可通过 /think 或 /no_think 指定模式；默认情况下模型为思维模式。非思维模式下，response中仍保留空的think块() ，以确保格式一致性。多轮对话中，系统会随机插入多个 /think 和 /no_think，让模型学习根据最近一个标签的模式进行回复。

图片

Thinking Budget(思考预算)

无需训练，可以让用户指定思考输出的token长度，当思考token数达到用户指定长度后，直接加上“Considering the limited time by the user, I have to give the solution based on the thinking directly now.\n.\n\n”，强制模型结束思考给出结果。

Stage4: General RL

该阶段旨在全面提升模型在不同任务场景下的能力和稳定性，构建了一个涵盖20多个任务的大规模奖励体系。

每个任务都有定制的评分标准，重点强化以下几个核心能力：

  • 指令遵循：确保模型能准确理解并执行用户的要求，包括内容、格式、长度、结构等各类指令。

  • 格式遵循：不仅要理解用户显式的指令，还需遵循隐式格式规则，例如正确响应 /think 与 /no think 标记，规范使用和分隔思维内容与最终回答。

  • 偏好对齐：对于开放性问题，提升模型的有用性、互动性和表达风格，使回答更符合人类偏好。

  • Agent 能力：训练模型正确调用工具接口，提升作为智能体的执行能力。

  • 特殊任务：例如在 RAG（检索增强生成）任务中，引导模型生成更准确且具上下文契合度的回答，降低幻觉风险。

奖励类型包括三类：

  • 规则型奖励（Rule-based）：适用于推理与格式类任务，通过明确的规则精准判断模型输出是否正确。

  • 带参考答案的模型奖励：提供参考答案，用 Qwen2.5-72B-Instruct 来对模型输出进行评分。

  • 无参考答案的模型奖励：基于人类偏好数据训练的奖励模型，对模型输出打分。

蒸馏

用于5个dense模型和一个MoE模型。主要是两个阶段：结合教师模型在 /think 和 /no think 两种模式下生成的输出对学生模型进行response蒸馏（数据蒸馏），以及将学生模型的logits与教师模型对齐，以最小化KL散度（logits蒸馏）。

图片

小模型上蒸馏和RL的效果对比

从上图的结果可以看到，在小模型上使用logits蒸馏的效果要优于直接做RL的效果，并且logits蒸馏的GPU Hours仅为RL的1/10。(蒸馏YYDS)

4 结语

Qwen 3的主要改进在于预训练数据的增加和后训练流程的优化，特别是think和no think模式的融合是其亮点。

【国产大模型牛逼系列】阿里Qwen3技术报告核心要点解读
AI天才研究院
05-15 131
阿里Qwen3技术报告正式发布，相关的模型架构、预训练及后训练过程等技术细节都有披露。近期Qwen3的各种尺寸更小的量化模型也在各开源社区上架，有需要可关注。
qwen2.5vl技术报告解读
luoshiyong123的博客
03-28 142
通义千问
Qwen3技术报告解读
2401_84495872的博客
05-14 845
上个月29日，Qwen3开源了一系列模型，包括6个Dense模型和2个MoE模型，这些模型在架构上与Qwen2.5相似，但进行了多项优化，如移除QKV偏置和引入QK-Norm。预训练数据涵盖36TTokens，涉及119种语言和方言，分为通用、推理和长上下文三个阶段。后训练流程包括思考控制和强到弱蒸馏，旨在优化模型推理能力和减少计算成本。Qwen3还通过CoT冷启动和推理强化学习进一步提升了模型的推理能力。此外，Qwen3设计了聊天模板，允许用户动态切换模型的思考过程。通用强化学习阶段则增强了模型在多种场景
Qwen3技术全貌解读报告
AI前沿技术的分享！
05-14 1059
Qwen3模型的训练流程分为预训练和后训练两大部分。预训练阶段包括三个步骤：首先进行30万亿标记的通用训练，接着进行5万亿标记的推理训练，最后通过长文本训练扩展上下文长度至32,768标记。后训练阶段则包括长链思维冷启动、推理强化学习、思维模式融合、通用强化学习以及奖励设计五个关键步骤。长链思维冷启动通过两阶段过滤构建高质量数据集，推理强化学习采用GRPO方法优化模型参数，思维模式融合通过设计聊天模板实现思维与非思维模式的动态切换，通用强化学习则通过复杂的奖励系统提升模型在多种场景下的能力。
Qwen3 技术报告解读
王不二的AI之路
04-30 237
为了增加数学和代码数据的数量，我们利用 Qwen2.5-Math 和 Qwen2.5-Coder 这两个数学和代码领域的专家模型合成数据，合成了包括教科书、问答对以及代码片段等多种形式的数据。由于模型架构的改进、训练数据的增加以及更有效的训练方法，Qwen3 Dense 基础模型的整体性能与参数更多的Qwen2.5基础模型相当。最后，在第四阶段，我们在包括指令遵循、格式遵循和 Agent 能力等在内的 20 多个通用领域的任务上应用了强化学习，以进一步增强模型的通用能力并纠正不良行为。
Qwen3技术报告英中对照版.pdf
qingkahui24689的博客
05-14 881
Qwen3 是 Qwen 模型家族的最新版本，它在性能、效率和多语言能力方面都取得了显著进步。该模型系列包含从 0.6B 到 235B 参数规模不等的多种模型，包括密集型和专家混合型（MoE）架构，旨在满足不同下游应用的需求。
Qwen2.5-Coder 技术报告详细解读
2301_81887304的博客
10-06 1694
Qwen2.5-Coder 技术报告详细解读
Qwen2.5-Math 技术报告详细解读
强化学习曾小健
09-29 1321
读完感觉，Qwen2.5-Math 是非常扎实的工作，当然，里面涉及到的算力和资源也是一般组不能比拟的，现在看来中文开源主要就 Qwen 和 DeepSeek 两家有能力、有资源了。以上均是我通读后的个人解读，可能有不少疏忽或错误，欢迎指出和探讨。
Qwen2技术报告解读
heyiqiunet的博客
10-20 1504
介绍了最新的大型语言模型和多模态模型Qwen2系列。该系列包括参数范围从0.5亿到720亿的基础型和指令微调型语言模型，涵盖密集模型和混合专家模型。Qwen2在多个基准测试中表现优异，超越了之前的开源模型，并在语言理解、生成、多语言能力等方面展现出竞争力。旗舰模型Qwen2-72B在多项基准测试中得分领先，指令微调版本Qwen2-72B-Instruct在多语言翻译和实时代码基准测试中表现出色。Qwen2支持约30种语言，显示出强大的多语言能力。
深入解读 Qwen3 技术报告（一）：引言
05-20 44
本文详细解析了Qwen3的核心架构、预训练策略、后训练优化体系及性能评估与工程实践。Qwen3采用混合专家模型（MoE）和优化后的注意力机制，通过三阶段预训练策略构建大规模多语言语料库，并利用长上下文训练技术扩展模型能力。后训练阶段引入双模融合机制和强化学习策略，进一步提升模型性能。评估体系涵盖通用知识、数学推理、代码生成等多维度指标，工程实践中通过动态批处理和量化部署优化推理效率。Qwen3在多项任务中表现出色，尤其在多语言能力和代码生成方面具有显著优势。
垂直智能体：企业AI落地的正确打开方式
chainso23的博客
05-18 1534
在一次重大投资决策中，这个智能体通过详细的财务模型和风险分析，帮助企业识别了原计划中被忽视的潜在风险，优化了投资策略，最终实现了比预期高的投资回报。上述企业管理与运营领域的成功案例清晰地表明，真正有价值的智能体不是简单地调用模型或拼凑功能，而是通过深度融合领域知识、专业流程和企业特定数据，形成清晰的内部逻辑，最终成为企业决策和运营的可靠助手。高效的垂直智能体需要具备强大的任务记忆能力，能够在多轮交互中保持上下文理解，记住用户的需求和偏好，避免重复询问或提供不一致的回答。
Baklib赋能企业知识资产AI化升级
weixin_51374429的博客
05-18 1817
Baklib作为AI驱动的一站式知识中台，深度融合大数据与智能技术，助力企业实现知识资产数字化升级。通过构建安全可控的多语言知识库体系，帮助百度、京东等500强企业激活沉睡数据，提升60%AI数据准备效率，实现内容智能管理、多场景输出及业务创新，打造可视化AI Ready知识引擎，加速数字化转型进程。
ROS2使用yoloV12，V11，V10，V9，V8，V5等
qq_35598561的博客
05-19 700
ROS2使用yoloV12，V11，V10，V9，V8，V5等
《Python星球日记》 第95天：分布式训练与推理
Code_流苏：在代码中寻诗意，在实践中觅真知
05-19 1406
《Python星球日记》 第95天：分布式训练与推理，今天，我们将探索分布式训练与推理技术，这是解决大规模AI模型训练和部署挑战的关键方法
马尔可夫链（AI、ML）：逻辑与数学的交汇
项目git同名小胡说技书
05-20 999
# 马尔可夫链摘要 马尔可夫链是一种随机过程，其核心特性为"无记忆性"：系统的未来状态仅依赖于当前状态，而与历史路径无关。通过状态空间和转移概率矩阵，马尔可夫链能够描述系统如何从一个状态变化到另一个状态。这一理论广泛应用于人工智能、自然语言处理和蒙特卡洛方法中。从逻辑学角度看，马尔可夫链体现了确定性规则与不确定性结果的结合，为复杂系统分析提供了强大工具，展示了概率论与逻辑学的深度融合。
飞致云旗下开源项目GitHub Star总数突破150,000个
FIT2CLOUD飞致云的博客
05-20 580
在开源的道路上，我们与用户、与客户共成长。
常见的几种多智能体强化学习算法
再来一下！
05-21 256
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL，旨在解决多个智能体在共享环境中通过与环境和其他智能体交互来学习最优策略的问题。
AI智能分析网关V4烟火检测算法：全功能覆盖，守护工厂/商场/学校等场景消防安全
NVR安防视频技术
05-19 993
随着社会经济发展，频发的火灾事故严重威胁公共与财产安全。传统火灾检测手段存在响应慢、误报高、适应性差等问题，难以满足复杂场景需求。
origin绘图之【如何将横坐标/x设置为文字、字母形式】
最新发布
A2457003982的博客
05-21 308
在科研绘图或数据可视化中，使用Origin时，用户常需将X轴从数字改为字母或中文文字，以适用于实验分组、类别分析等场景。然而，直接替换可能导致图像无法显示或X轴标签缺失。解决此问题的关键在于正确设置X轴的刻度范围。首先，准备包含文字标签的数据，并选择折线图进行绘制。若图像未显示，需调整X轴的起始和结束值，通常起始值设为0，结束值为类别数量加0.5或1。通过此方法，可确保图形完整显示，X轴标签正确排列。此技巧在科研图表绘制中极为实用，尤其适用于分组实验和分类分析。
Qwen2.5-VL模型解读
03-28
### Qwen2.5-VL模型的特点和用途解读 #### 特点 Qwen2.5-VL模型是一款专注于多模态任务的视觉理解模型，其设计目标在于提升对图像内容的理解能力，并能够将其与自然语言处理相结合[^2]。以下是该模型的主要特点： - **跨模态融合**：Qwen2.5-VL具备强大的跨模态学习能力，可以同时处理文本和图像数据，实现两者的深度融合。这种特性使得它能够在复杂的场景下提供更精准的结果。 - **高精度识别**：通过对大量标注数据的学习训练，此模型在物体检测、场景分类等多个计算机视觉领域达到了行业领先水平。 - **灵活的应用接口**：为了便于开发者快速上手使用，官方提供了详细的Cookbook文档指导，其中包括了具体案例分析以及API调用方式说明等内容。 #### 用途 基于上述提到的技术优势,Qwen2.5-VL广泛应用于以下几个方面: 1. **图文检索**: 用户可以通过上传图片或者输入关键词查询相关内容,系统会返回最匹配的一组结果. 2. **视觉问答(VQA)**: 当面对含有复杂信息量较高的照片时(比如图表),人们往往难以直接获取所需知识点;而借助于VQA技术则可以让机器自动解析这些难题并给出简洁明了的回答. 3. **图像描述生成**: 自动为给定的图片生产一段恰当的文字解释或故事叙述,这项功能特别适合用于辅助视障人士感知周围环境或是电商网站商品详情页自动生成文案等方面的工作当中去实践应用起来非常有价值意义非凡值得推广普及开来让更多人都能享受到科技进步带来的便利之处所在之地无处不在随时随地随心所欲尽情享受吧朋友们! ```python from transformers import VisionEncoderDecoderModel, ViTImageProcessor, AutoTokenizer import torch from PIL import Image model = VisionEncoderDecoderModel.from_pretrained("nlpconnect/vit-gpt2-image-captioning") # 这里仅作为示例，请替换为实际可用的Qwen2.5-VL模型路径 feature_extractor = ViTImageProcessor.from_pretrained("nlpconnect/vit-gpt2-image-captioning") tokenizer = AutoTokenizer.from_pretrained("nlpconnect/vit-gpt2-image-captioning") device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) def predict_step(image_paths): images = [] for image_path in image_paths: i_image = Image.open(image_path) if i_image.mode != "RGB": i_image = i_image.convert(mode="RGB") images.append(i_image) pixel_values = feature_extractor(images=images, return_tensors="pt").pixel_values pixel_values = pixel_values.to(device) output_ids = model.generate(pixel_values, max_length=16, num_beams=4, return_dict_in_generate=True).sequences preds = tokenizer.batch_decode(output_ids, skip_special_tokens=True) preds = [pred.strip() for pred in preds] return preds # 调用predict_step函数传入图片文件名列表即可得到对应的文本描述结果 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值