​QwQ-32B：让AI在开源界内卷到底！

QwQ-32B：让AI在开源界内卷到底！

原创 腾科AI 腾科AI 2024年11月28日 16:57 广东

QwQ是谁？它不仅是阿里巴巴Qwen团队最新发布的开源模型，更是AI推理界的一名“哲学学生”——深思熟虑、不耻下问，还能给你一份惊艳的数学答卷。

萌名背后的硬实力

QwQ（发音/kwju:/，像“quill”）名字萌萌哒，但它可不是来“撒娇”的。

让我们直接看它的技术配置——这可是一场顶配拉满的推理秀：

• 参数规模：325亿，其中非嵌入层参数310亿。

• 架构设计：64层网络，40个Q头+8个KV头的精细注意力机制。

• 技术亮点：

1. RoPE：旋转位置编码，增强上下文位置感知。

2. SwiGLU：更优的非线性表达。

3. RMSNorm：更稳定的训练体验。

4. 长上下文支持：长达32768个token，开源领域罕见。

实战：从数学到编程，全场MVP

QwQ-32B凭什么出圈？用成绩说话：

• 数学之王：

  1.在AIME数学竞赛中，达到50.0%的得分，几何、概率一把抓。

  2.在MATH-500数学基准上狂揽90.6%的高分，秀出全面的数学能力。

• 科学问答高手：

  在GPQA基准上拿下65.2%，解决高难度科学问题信手拈来。

•  代码场上的行动派：

  LiveCodeBench编程测试中取得50.0%的得分，真实世界编程任务也是游刃有余。

案例说话：
我们来体验一下QwQ的推理能力吧：

问题：在方程 $1 + 2 * 3 + 4 * 5 + 6 * 7 + 8 * 9 = 479$ 中，添加一对括号使等式成立。
QwQ思路清晰：

1. 逐步拆解问题，计算当前结果，与目标值比较，发现差距。

2. 模拟各种括号位置，逐一验证。

3. 最终解答：$1 + 2 * (3 + 4 * 5 + 6) * 7 + 8 * 9 = 479$。

看看这严谨的过程，是不是有点“哲学家范儿”？

理性与幽默并存，缺点也很坦诚

QwQ不仅实力硬，还很“诚实”——团队大方承认模型目前的缺点：

• 语言混用：有时中英文夹杂，让人一头雾水。

• 循环推理：某些问题绕圈圈出不来，颇有些“哲学家思维”过头的意味。

• 常识盲点：尽管数学、代码满分，但常识问题偶尔会犯迷糊。

这些“小毛病”反倒让人觉得模型更真实，更像一个活生生的AI“学霸”。

无论你是技术大牛、数学爱好者，还是对AI未来充满好奇的“哲学学生”，QwQ都为你打开了一扇通往智能边界的新大门。

懒得去找模型的朋友，可以去文章末尾的“阅读原文”试试镜像版GPT4o吧！让它成为你创作的得力助手吧！

GPT4o功能一览

GPT4o功能有：文本对话、实时联网查询、AI绘画、文档分析、图像分析。