阿里Qwen3技术报告核心要点解读！

最新推荐文章于 2025-05-21 10:40:07 发布
原创 最新推荐文章于 2025-05-21 10:40:07 发布
· 1k 阅读 · 24 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器人 #人工智能 #开源 #大数据 #知识图谱

阿里Qwen3技术报告正式发布，相关的模型架构、预训练及后训练过程等技术细节都有披露。

img

近期Qwen3的各种尺寸更小的量化模型也在各开源社区上架，有需要可关注。

图片

模型架构

  • 密集模型架构：包含6个密集模型，架构与Qwen2.5相似，包含GQA、SwiGLU、RoPE以及带预归一化的RMSNorm等，移除了QKV-bias，在注意力机制中引入QK-Norm，以确保训练稳定性。
  • 混合专家模型架构：包含2个混合专家模型，与密集模型共享基础架构，沿用Qwen2.5-MoE的架构，加入细粒度专家分段设计，共128个专家，每个token激活8个专家，舍弃共享专家模块，采用全局批次负载均衡损失技术促进专家专业化。

img

img

预训练

  • 预训练数据：与Qwen2.5相比，预训练token数量是之前的两倍，涵盖的语言数量达到其三倍以上，数据集包含119种语言和方言，总计36万亿tokens，涵盖多个领域的高质量内容，通过多种方式扩展预训练语料库，包括使用Qwen2.5-VL模型对文档进行文本识别、利用Qwen2.5模型优化文本、合成多种形式的文本token等。

  • 三阶段预训练：

    • 通用知识学习阶段：使用4,096 tokens的序列长度，对超过30万亿tokens的数据进行训练，聚焦于语言结构、语法、常识与通用世界知识的学习。
    • 推理能力强化阶段：增加STEM、编程、推理和合成数据的比例，使用约5万亿高质量tokens进行进一步预训练，加速学习率的衰减。
    • 长上下文扩展阶段：构建专门的高质量长上下文语料库，序列长度最高达32,768个tokens，使用ABF技术提升RoPE的基频，引入YARN和双块注意力机制，提升推理过程中的序列长度容量。

  • 预训练结果评估：Qwen3系列的基础语言模型在通用知识、推理能力、数学水平、科学知识、编程能力以及多语言任务等方面表现优异，优于之前的先进开源模型，且在激活参数和总参数较少的情况下，Qwen3的MoE基础模型和密集基础模型均展现出良好的性能。

图片

后训练

图片

  • 四阶段训练：

    • 长链式思维冷启动阶段：构建包含数学、代码、逻辑推理和STEM问题的高质量数据集，进行严格的两阶段过滤流程，建立模型的基础推理范式。
    • 推理强化学习阶段：收集查询-验证对，采用GRPO方法更新模型参数，通过控制模型的熵值平衡探索与实用之间的关系，提升模型的推理能力。
    • 思考模式融合阶段：对推理强化学习模型进行监督微调，设计对话模板融合“非思考”能力，使模型能够在不同思考模式下作出响应，并处理中间情况。
    • 通用强化学习阶段：建立复杂的奖励系统，覆盖多种任务，使用三种不同类型的奖励机制，全面增强模型在各种场景下的能力与稳定性。

  • 从强到弱蒸馏：涵盖5个密集模型和1个MoE模型，分为Off-policy蒸馏和On-policy蒸馏两个阶段，提升轻量级模型的推理能力，赋予其稳健的模式切换能力。

  • 后训练结果评估：旗舰模型Qwen3-235B-A22B展现出当前开源模型中最先进的整体性能，与顶尖闭源模型具有高度竞争力；旗舰密集模型Qwen3-32B在推理能力上优于之前的模型，且在非思考模式下表现出色；轻量级模型在性能上持续优于参数量相近甚至更大的开源模型，验证了强到弱蒸馏方法的有效性。

图片

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

【国产大模型牛逼系列】阿里Qwen3技术报告核心要点解读
AI天才研究院
05-15 160
阿里Qwen3技术报告正式发布，相关的模型架构、预训练及后训练过程等技术细节都有披露。近期Qwen3的各种尺寸更小的量化模型也在各开源社区上架，有需要可关注。
Qwen2.5 全系列模型对比 × 部署实测 × 场景推荐
努力分享一些人工智能相关的知识干货！
03-29 2213
任务类型 × 模型结构全梳理参数版本 × 部署性能对比场景 × 工具链组合推荐快速部署指令 × API 封装模板输出踩坑点应对方式模型格式不匹配升级 transformers ≥4.36，支持 ChatTemplate显存爆炸 / 推理卡顿使用 bitsandbytes / AWQ 进行 INT4 量化部署接口响应不稳定封装时添加timeout参数并做错误兜底模型生成不连贯添加上下文 + 示例对话，引导更自然文本输出不完整增加并避免触发停止词太早。
Qwen3 技术报告解读
王不二的AI之路
04-30 255
为了增加数学和代码数据的数量，我们利用 Qwen2.5-Math 和 Qwen2.5-Coder 这两个数学和代码领域的专家模型合成数据，合成了包括教科书、问答对以及代码片段等多种形式的数据。由于模型架构的改进、训练数据的增加以及更有效的训练方法，Qwen3 Dense 基础模型的整体性能与参数更多的Qwen2.5基础模型相当。最后，在第四阶段，我们在包括指令遵循、格式遵循和 Agent 能力等在内的 20 多个通用领域的任务上应用了强化学习，以进一步增强模型的通用能力并纠正不良行为。
瑟瑟发抖的互联网打工人
m0_59235699的博客
05-09 805
去年底，一个做游戏开发的前同事跟我说被裁了，然后，他约了另一个前同事，三人一起去前公司附近吃了顿烧烤。这个做开发的同事是一个技术leader，人很聪明，本科学校很不错，硕士院校更是top2，还是有证程序员，出活也快，现公司的那个上线游戏的服务器框架都是他一人搭建起来了，核心代码也主要是他写的，后面服务器招了几个人，他花在写代码的时间才慢慢变少。所以，他被裁，我是真挺吃惊，就觉得他这种技术能力，放在哪里都是香的，但现实很残酷，我能想到的理由应该还是年龄大，三十七八了。
Qwen3即将发布？深度研究报告——解析阿里巴巴新一代大语言模型的技术革新与行业影响
2401_84204413的博客
03-25 2612
随着Hugging Face代码仓库的最新提交记录（PR#36878）被开发者社群发现15，人工智能领域再次掀起波澜。阿里巴巴旗下Qwen团队研发的第三代大语言模型Qwen3已进入发布倒计时阶段。本报告基于开源社区的技术分析、模型架构代码解读以及行业动态，深度剖析Qwen3的技术突破及其潜在影响。
QWen3对比QWen2.5：显著优势解析
LiuSid7的博客
04-30 1525
在预训练方面，QWen3使用的数据量几乎达到了QWen2.5的两倍，涵盖了119种语言和方言的约36万亿个token，而QWen2.5则是在18万亿个token上进行预训练的。由于QWen3在性能上的显著提升和功能的丰富化，它的应用场景也得到了极大的拓展。综上所述，QWen3相比QWen2.5在思考模式的创新、语言支持的扩展、预训练数据的增加和训练方法的改进、模型架构的优化和推理效率的提升以及应用场景的拓展等方面都展现出了显著的优势。与之前的版本QWen2.5相比，QWen3在多个方面展现出了显著的优势。
【大模型系列篇】从初代到前沿：一文回顾Qwen进化史
木亦汐丫
05-14 1175
一文回顾Qwen模型系列：Qwen3、Qwen2.5-Omni、Qwen2.5-VL、Qwen2.5-1M、QVQ、QwQ、Qwen2.5-Coder、Qwen2.5、Qwen2.5-Math、Qwen2-Math、Qwen2-Audio、Qwen2-VL、Qwen2、Qwen1.5、Qwen。
Qwen3技术全貌解读报告
AI前沿技术的分享！
05-14 1088
Qwen3模型的训练流程分为预训练和后训练两大部分。预训练阶段包括三个步骤：首先进行30万亿标记的通用训练，接着进行5万亿标记的推理训练，最后通过长文本训练扩展上下文长度至32,768标记。后训练阶段则包括长链思维冷启动、推理强化学习、思维模式融合、通用强化学习以及奖励设计五个关键步骤。长链思维冷启动通过两阶段过滤构建高质量数据集，推理强化学习采用GRPO方法优化模型参数，思维模式融合通过设计聊天模板实现思维与非思维模式的动态切换，通用强化学习则通过复杂的奖励系统提升模型在多种场景下的能力。
大模型-Qwen2.5 技术报告解读
晓的博客
02-21 1175
模型发布情况开源权重部分：通义千问2.5公布了其详细信息，在开源权重方面推出了7种不同规模的预训练模型和指令微调模型，涵盖从0.5B到72B多种参数量级别，满足不同使用场景和需求。并且提供了不同精度的版本，除了bfloat16精度的原始模型外，还有其他精度的量化模型，量化模型有助于降低模型对存储和计算资源的要求，便于更广泛地部署和应用。
【阿里云大模型高级工程师ACP学习笔记】2.7 通过微调增强模型能力 (下篇)（⭐️⭐️⭐️ 重点章节！！！）
davidkorhenn的博客
04-30 944
【摘要】本文聚焦阿里云大模型高级工程师 ACP 认证中《2.7 通过微调增强模型能力 (下篇)》的学习笔记。详细阐述学习目标、系统梳理知识点，深入剖析重点难点，为有志于阿里云大模型学习与认证的读者提供学习思路与经验分享。
一种基于通义千问prompt辅助+Qwen2.5-coder-32b+Bolt.new+v0+Cursor的无代码对话网站构建方法
qq_44373268的博客
12-09 1868
今年似乎大模型之间的“内卷”已经有些偃旗息鼓了，各大技术公司逐渐从单纯追求模型参数量的竞赛中抽身，转向更加注重模型的实际应用效果与效率，开始内卷起了LLM“载具”不知道这个词是不是我第一个发明的哈，总之我更喜欢将结合了大模型的工具都称之为LLM“载具”，这些“载具”就像是为强大的大模型配备了各种增强功能的载体，使得它们能够更好地融入不同的应用场景中，解决具体的问题涉及到编程和开发方面的，这两年就涌现出了至少五款以上的产品（其实远远不止这么点。
阿里 Qwen3 技术详解: 4B 参数媲美 72B，MoE 架构的开源突破
weixin_59191169的博客
05-05 1371
Qwen3 通过专家混合（MoE）架构实现了性能与效率的突破，其在编程、数学和常识推理等领域的优异表现展示了其跨任务的强大能力。开源策略进一步放大了其影响力，使其成为 AI 社区和行业的重要资产。无论是推动编程工具智能化、教育资源普惠化，还是催化企业级应用创新，Qwen3 都展现了深远的潜力。未来，随着更多开发者参与到 Qwen3 的生态建设中，其技术边界将被不断拓展。我们或许能看到它与视觉、语音等多模态技术的融合，或在边缘计算、绿色 AI 等新兴领域发挥更大作用。
Qwen3第一时间详解：性能、突破、训练方法、版本迭代
2301_77727994的博客
04-29 1050
今天凌晨，Qwen3发布了，这可能是2025年五一节假日前，在科技圈算是头条了；在《是讯飞晓医？嗯，是基于RAGFlow本地化搭建AI医疗助手》文章中，小编借助于RAGFlow+Qwen2.5，构建了一个本地化的AI医疗助手；让我们来详解一下Qwen3。
Qwen3超前分析报告：Transformers PR代码完全解读~
CV_Autobot的博客
04-25 905
为保证恒定的计算成本，激活的路由专家将减少相应的数量，如上图所示。从对比代码中看，Qwen3_moe删除了共享专家部分，这里猜测Qwen团队应该是做了相关的实验，笔者之前也猜测15B应该是他们MoE的最低门槛参数量的模型，应该还有更大的模型，而该模型框架要适配他们所有的MoE模型的，因此应该是有没有共享专家机制都不会影响最终的模型性能，而使用了共享专家机制的话shared_experts需要过多的资源，其他的专家所在的设备有可能不能有效利用，因此综合考虑之后Qwen团队选择直接删掉该模块也是合情合理的。
Qwen3 发布！一篇了解Qwen3：性能、突破、训练方法
star_nwe的博客
04-29 1481
今天凌晨，Qwen3发布。
Qwen3 技术报告硬核解读：不止更大，更会“思考”！阿里新一代大模型亮出哪些绝活？
最新发布
weixin_41046245的博客
05-21 491
它不仅在传统性能指标上达到了新的高度，更通过创新的“思考模式”与“思考预算”机制，为我们展现了大型语言模型在“智能涌现”和“可控性”方面的新可能。以前你可能需要针对不同任务切换不同的模型（比如聊天用A模型，推理用B模型），现在 Qwen3 一个模型就搞定了，它能根据你的问题或者你给的模板动态切换“大脑模式”！Qwen3 这次依然是“全家桶”模式，发布了一系列不同参数规模的模型，从 **0.6B 6亿 ** 到 **235B 2350亿 ** 参数，应有尽有。模型的“后天培养”同样重要。
【国产开源 AI 大模型】Qwen2.5: 基础模型系列
AI天才研究院
10-01 2817
在 Qwen2 发布后的过去三个月里，许多开发者基于 Qwen2 语言模型构建了新的模型，并为我们提供了宝贵的反馈。在这段时间里，我们专注于创建更智能、更博学的语言模型。Qwen2.5。我们将要宣布的可能是历史上最大的开源发布！让我们开始这场盛会吧！我们的最新发布包括了语言模型Qwen2.5，以及专门针对编程的和数学的模型。Qwen2.5: 0.5B, 1.5B, 3B, 7B, 14B, 32B, 以及72B;Qwen2.5-Coder: 1.5B, 7B, 以及即将推出的32B;
最强开源大模型？Qwen3 系列深度解析 + 本地部署指南！
xiaoganbuaiuk的博客
04-30 3030
Qwen3 支持在一个模型中无缝切换“
阿里qwen2.5接入WPS
02-14
### 阿里云Qwen 2.5 接入 WPS 文档编辑器集成方案 #### API接口使用教程 为了实现阿里云Qwen 2.5与WPS文档编辑器的集成，开发者需遵循特定API接口指南来完成对接工作。此过程涉及获取必要的认证凭证以及调用相应的服务端口。 #### 获取认证凭证 在开始之前，确保已注册并登录至阿里云平台账户。通过访问控制台创建应用以获得`AccessKey ID` 和 `AccessKey Secret`，这是用于身份验证的重要参数[^1]。 #### 安装依赖库 对于Python环境而言，推荐安装官方提供的SDK以便简化开发流程： ```bash pip install aliyun-python-sdk-core-v3 ``` 上述命令会下载适用于Python的应用程序编程接口软件包，从而方便后续操作中的请求发送和响应处理[^2]。 #### 初始化客户端实例 利用所取得的身份验证信息初始化Client对象，这一步骤是发起任何有效请求的前提条件之一。 ```python from aliyunsdkcore.client import AcsClient client = AcsClient( &#39;<your-access-key-id>&#39;, &#39;<your-access-key-secret>&#39;, &#39;cn-hangzhou&#39; # 地域ID, 可根据实际需求调整 ) ``` 此处替换占位符为真实的密钥数据，并指定合适的地域节点以减少延迟时间[^3]。 #### 调用具体功能 针对不同业务场景下的需求，可以查阅官方文档找到对应的方法名称及其参数列表。例如，要查询模型版本状态可执行如下代码片段： ```python request = QwenVersionRequest.QwenVersionRequest() response = client.do_action_with_exception(request) print(response.decode()) ``` 这段脚本展示了如何构建一个关于询问Qwen大模型版本详情的服务请求，并打印返回的结果字符串[^4]。 请注意，在真实项目部署过程中还需要考虑错误捕获机制、日志记录等功能模块的设计；同时也要关注目标办公软件本身开放的能力范围，确保双方能够良好协作达成预期效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值