大模型动态：Qwen3系列模型正式发布 | 知识科普：模型参数、MoE、Dense

本期科普知识：

• • 什么是模型的“参数“？

• • 什么是MoE、Dense？

Qwen3系列

1.发布情况

2025年4月29日，通义千问团队发布并开源了Qwen系列大型语言模型的最新成员“Qwen3”，包括2个MoE模型，6个Dense模型。

其中，旗舰模型Qwen3-235B-A22B，一个拥有2350多亿总参数和220多亿激活参数的大型MoE模型，在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比，表现出极具竞争力的结果。

2.使用渠道

1）官方渠道

• • Qwen Chat网页版：https://chat.qwen.ai

•   • 通义网页版：https://www.tongyi.com/discover/chat?agentId=A-B38957-0a10ee9f

•   • 手机端：通义app

2）第三方渠道

•   • openrouter：https://openrouter.ai/

3.模型能力

1）Qwen3系列模型核心亮点

• • 多种思考模式

Qwen3 模型支持两种思考模式：

1. 1. 思考模式：在这种模式下，模型会逐步推理，经过深思熟虑后给出最终答案。这种方法非常适合需要深入思考的复杂问题。

2. 2. 非思考模式：在此模式中，模型提供快速、近乎即时的响应，适用于那些对速度要求高于深度的简单问题。

这种灵活性使用户能够根据具体任务控制模型进行“思考”的程度。例如，复杂的问题可以通过扩展推理步骤来解决，而简单的问题则可以直接快速作答，无需延迟。

• • 多语言支持

Qwen3 模型支持119 种语言和方言。这一广泛的多语言能力为国际应用开辟了新的可能性。

• • 增强的Agent能力

通义团队优化了 Qwen3 模型的 Agent 和 代码能力，同时也加强了对 MCP 的支持。

2）Qwen3-235B-A22B的能力表现

我们再来看看旗舰模型Qwen3-235B-A22B的能力情况：

上图中的基准测试项目的含义，从上到下依次是：

• • ArenaHard：综合挑战题

• • AIME24 / AIME25：数学竞赛题（AIME，即美国高中数学邀请赛）

• • LiveCodeBench：代码生成和执行能力测试

• • CodeForces：算法题目解决能力（用 Elo 分数表示）

• • Aider（Pass@2）：代码修改辅助测试（Aider 是一个自动代码助手）

• • LiveBench：代码生成测试

• • BFCL：自然语言到代码的转换（NL2Code）能力

• • MultiF（8种语言）：多语言理解和生成能力

根据评分总体来看，Qwen3-235B-A22B非常适合用来解决复杂推理和综合性问题，尤其擅长编程和代码生成相关的任务。

知识科普

如前所述，本次Qwen3系列的旗舰模型Qwen3-235B-A22B，是一个拥有2350多亿总参数和220多亿激活参数的大型MoE模型。

下面我们将对总参数、激活参数、MoE模型这些概念进行解读，看看它们到底意味着什么。

1.模型参数

所谓模型的“总参数”、“激活参数”中的“参数”，其实指的是模型中存储的用于计算的数值，主要包括权重（weights）和偏置（Bias），它们决定了模型如何根据输入来生成输出。

大模型作为一种人工神经网络，是模仿我们大脑中神经元的工作方式构建的计算模型。

在我们的大脑中，有无数个神经元，它们相互连接，传递信息。而在人工神经网络中，同样以神经元为基本组成单位。这些神经元按照不同的层次组织起来，常见的有输入层、隐藏层和输出层。输入层就像是一个信息入口，它接收原始的数据；隐藏层则对输入的数据进行复杂的加工处理；输出层就会给出最终的计算结果。

以一个简单的神经元为例，假设该神经元与另外两个神经元连接，即以其输出作为输入，那么该神经元的输出可以用下面这个式子表达

z=w1x1+w2x2+b

w₁、w₂、b就是我们所说的大模型的“参数”。其中，参数w决定了两个输入值x₁ 、x₂对输出值z的影响大小，所以w被称为“权重”。有多少个神经元连接，就有多少个权重参数。而参数b则意味着，即使没有输入或者输入值特别微小，仍然有一个基础的值可以被输出，这就是我们所说的“偏置”，每一个神经元都有一个偏置参数。

那么，这些参数的值，是怎么被“训练”出来的呢？我想用一个可能不太贴切但意思到了的例子来说明：

大家一定做过这种数学题，给定A、B、C三个点的x、y坐标值，要求求出同时穿过这些点的曲线的解析式。

现在，我们可以把这条曲线，理解为一种最简单的预测模型，即能根据任意给定的值X，“预测”出位于这条曲线上的横坐标值为X的点的Y值。（当然，x、y也可以有任意的实际含义）

所谓训练模型，可以被大概理解为想方设法找到一个能根据我们的输入，来稳定获得所希望的输出的计算方法的过程。

前述给定点A、B、C的坐标值，都代表着一种输入值x与输出值y的对应关系，它们就是我们训练所希望的模型的素材。而求解方程的过程，就是我们训练模型的过程。当我们求解出一个同时穿过A、B、C点，换言之，能根据我们的输入来获得所希望输出的解析式时：

y=ax2+bx+c

这条曲线所代表的一种模式，x与y之间的关系，就通过a、b、c三个数值固定了下来。这些数值，就是这个曲线模型的参数，他们决定了这个模型将如何根据输入值X来生成输出值Y。

回到大模型的语境中，训练材料从三个点，变成了海量语言材料，训练过程从简单地解一元二次方程变成了通过梯度下降、反向传播等算法，去找到给定输入后，能够使模型的实际输出值与期望输出值差距最小的参数组合。

因此，如果我们用海量的类似“法国的首都是巴黎”、“巴黎是法国首都”的句子对模型进行“投喂”，一个关于“法国 + 首都 = 巴黎”的文本模式就会通过某种计算过程被确认下来，相应的参数也会同步产生。当用户向大模型提问“法国首都是哪座城市”时，模型将根据拆分出的"法国"“首都“”是”“哪”“座”“城市”等token，将相关联的参数激活，最后输出“巴黎”。

总而言之，大模型的参数，可以被理解为一个巨大的知识库，记录了模型所接受的训练语料中出现的所有可能的文本模式与关联关系。参数越大，模型存储的“知识”、“模式”就越丰富。

那么，总参数、激活参数，又是什么意思呢？这涉及到下一个概念，模型架构。

2.模型架构

如前所述，本次发布的Qwen3系列模型包括2个MoE模型，6个Dense模型。

MoE、Dense，是两种不同的神经网络模型架构。

Dense（稠密、密集）架构，是一种传统的神经网络模型架构，它的特点在于，每次推理时，模型的所有参数都会被激活，全量使用。这个特点就像一把双刃剑，一方面，全量激活参数能够保证对任务中的复杂关系的准确捕捉，从而提升输出的准确度，因为所有相关的细节都会被"考虑"到，在参数量较小的情况下，Dense模型的推理速度表现更好；但同时，由于每次运行都要调用全部参数，dense模型要求的算力、电力成本较高。

正因如此，我们可以看到，本次Qwen3系列的6个Dense模型，都是参数相对较小的模型。

MoE（Mixture of Experts，即混合专家）架构，是一种通过把任务分配给不同领域的专家子网络来提升整体性能的模型架构，相对于dense来说，MoE是一种稀疏模型架构。简单地来说，MoE架构下，模型被分拆为多个独立的Expert，然后通过一个“门控网络”（Gating Network）来统筹协调，根据任务类型来动态选择每次推理时需要激活哪些专家，从而实现用更少的计算资源解决复杂问题。

所以，前面所说的“总参数”、“激活参数”的概念主要适用于MoE模型，因为在Dense模型中，激活参数就等于总参数。而对于MoE模型来说，它的总参数，就是所有专家的参数的总和，而激活参数，就是模型在每次推理时，实际激活的参数规模。

 一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

 

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

*   大模型 AI 能干什么？
*   大模型是怎样获得「智能」的？
*   用好 AI 的核心心法
*   大模型应用业务架构
*   大模型应用技术架构
*   代码示例：向 GPT-3.5 灌入新知识
*   提示工程的意义和核心思想
*   Prompt 典型构成
*   指令调优方法论
*   思维链和思维树
*   Prompt 攻击和防范
*   …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

*   为什么要做 RAG
*   搭建一个简单的 ChatPDF
*   检索的基础概念
*   什么是向量表示（Embeddings）
*   向量数据库与向量检索
*   基于向量检索的 RAG
*   搭建 RAG 系统的扩展知识
*   混合检索与 RAG-Fusion 简介
*   向量模型本地部署
*   …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

*   为什么要做 RAG
*   什么是模型
*   什么是模型训练
*   求解器 & 损失函数简介
*   小实验2：手写一个简单的神经网络并训练它
*   什么是训练/预训练/微调/轻量化微调
*   Transformer结构简介
*   轻量化微调
*   实验数据集的构建
*   …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

*   硬件选型
*   带你了解全球大模型
*   使用国产大模型服务
*   搭建 OpenAI 代理
*   热身：基于阿里云 PAI 部署 Stable Diffusion
*   在本地计算机运行大模型
*   大模型的私有化部署
*   基于 vLLM 部署大模型
*   案例：如何优雅地在阿里云私有部署开源大模型
*   部署一套开源 LLM 项目
*   内容安全
*   互联网信息服务算法备案
*   …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】