阿里深夜发布 QwQ-32B 模型：仅1/20参数就可媲美DeepSeek R1

最新推荐文章于 2025-04-03 18:30:59 发布

CSDN资讯

最新推荐文章于 2025-04-03 18:30:59 发布

阅读量1w

点赞数 25

文章标签：阿里 QwQ-32B 强化学习

本文链接：https://blog.csdn.net/csdnnews/article/details/146064534

版权

近期的研究表明，强化学习可以显著提高模型的推理能力。例如，DeepSeek-R1 通过整合冷启动数据和多阶段训练，实现了最先进的性能，使其能够进行深度思考和复杂推理。

阿里通义千问团队探讨了大规模强化学习（RL）对大语言模型的智能的提升作用，同时推出他们最新的推理模型 QwQ-32B。这是一款拥有 320 亿参数的模型，其性能可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 媲美。

这一成果突显了将强化学习应用于经过大规模预训练的强大基础模型的有效性。此外，他们还在推理模型中集成了与 Agent 相关的能力，使其能够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。

QwQ-32B 模型效果

QwQ-32B 在一系列基准测试中进行了评估，测试了数学推理、编程能力和通用能力。以下结果展示了 QwQ-32B 与其他领先模型的性能对比，包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 以及原始的 DeepSeek-R1。
在这里插入图片描述
在测试数学能力的 AIME24 评测集上，以及评估代码能力的 LiveCodeBench 中，千问 QwQ-32B 表现与DeepSeek-R1相当，远胜于 o1-mini 及相同尺寸的R1 蒸馏模型；在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜” LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中，千问 QwQ-32B 的得分均超越了 DeepSeek- R1。

大规模强化学习

他们在冷启动的基础上开展了大规模强化学习。在初始阶段，特别针对数学和编程任务进行了 RL 训练。与依赖传统的奖励模型（reward model）不同，他们通过校验生成答案的正确性来为数学问题提供反馈，并通过代码执行服务器评估生成的代码是否成功通过测试用例来提供代码的反馈。

他们发现在 RL 扩展过程中，随着训练轮次的推进，这两个领域中的性能均表现出持续的提升。
在第一阶段的 RL 过后，他们增加了另一个针对通用能力的 RL。此阶段使用通用奖励模型和一些基于规则的验证器进行训练。他们发现，通过少量步骤的通用 RL，可以提升其他通用能力，同时在数学和编程任务上的性能没有显著下降。

通过API使用QwQ-32B

以下他们展示了一段简短的示例代码，说明如何通过 API 使用 QwQ-32B。

from openai import OpenAIimport os
# Initialize OpenAI clientclient = OpenAI(    # If the environment variable is not configured, replace with your API Key: api_key="sk-xxx"    # How to get an API Key：https://help.aliyun.com/zh/model-studio/developer-reference/get-api-key    api_key=os.getenv("DASHSCOPE_API_KEY"),    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1")
reasoning_content = ""content = ""
is_answering = False
completion = client.chat.completions.create(    model="qwq-32b",    messages=[        {"role": "user", "content": "Which is larger, 9.9 or 9.11?"}    ],    stream=True,    # Uncomment the following line to return token usage in the last chunk    # stream_options={    #     "include_usage": True    # })
print("\n" + "=" * 20 + "reasoning content" + "=" * 20 + "\n")
for chunk in completion:    # If chunk.choices is empty, print usage    if not chunk.choices:        print("\nUsage:")        print(chunk.usage)    else:        delta = chunk.choices[0].delta        # Print reasoning content        if hasattr(delta, 'reasoning_content') and delta.reasoning_content is not None:            print(delta.reasoning_content, end='', flush=True)            reasoning_content += delta.reasoning_content        else:            if delta.content != "" and is_answering is False:                print("\n" + "=" * 20 + "content" + "=" * 20 + "\n")                is_answering = True            # Print content            print(delta.content, end='', flush=True)            content += delta.content