昨天凌晨，阿里开源了全新的推理模型：QwQ-32B。据官方发布消息，该模型性能比肩满血版 DeepSeek-R1（671B）！
可以看到在官方放出的评测图中， QwQ-32B 与满血版 DeepSeek R1（671B）在五项基准测试的得分不相上下，更是远超同尺寸 R1 蒸馏模型。
看到了这些消息后，我就开始上手深度测试。
QwQ-32B开源链接：
魔搭开源链接：https://modelscope.cn/models/Qwen/QwQ-32B
huggingface开源链接：https://huggingface.co/Qwen/QwQ-32B
在线体验地址：
https://chat.qwen.ai/?models=Qwen2.5-Plus
本地部署：保姆级实战教程
我在 AutoDL 上租用一张 4090，本地部署了一个 QwQ-32B-AWQ 量化版本。
写了个保姆级部署教程，因篇幅原因，大家可以按需查看～
教程地址：https://datawhaler.feishu.cn/docx/Wz2NdqSx1oEZsuxB9zHcEQ20nNe
根据命令行打印的信息可以看到模型在一张 4090 GPU 上完美运行。我给他测试了最近很火的问题：
9.11 和 9.9 哪个更大？
推理一共花了 21.39 秒，结果如下所示：
实测下来，QwQ-32B-AWQ 量化版本显存占用不到 18GB ，一张 4090 绰绰有余。而 32B 的 QwQ，也是完美适配消费级硬件。
性能实测
在 QwQ-32B 的性能方面，我分了代码能力、数学能力和逻辑能力三个维度进行测评。
首先是代码能力，我让它“编写一个 python 脚本，显示一个球在旋转的六边形内部弹跳。球应该受到重力和摩擦的影响，并且必须真实地弹跳 off 转动的墙壁。”
可以看到，整个球体的弹跳和撞击特别真实，就连小球带动大框的效果都做出来了，很好的还原了真实的物理场景。
而 Grok-3 在这个问题上直接就炸了，小球直接自由落体。
然后我试了试它的数学能力。最近正好考研成绩出了，我就拿了两道数一的考研题进行了测试：
题目一：回答完全正确。
题目二：回答完全正确。
数学和代码作为 QwQ-32B 的主攻方向，确实是效果极佳。
最后的逻辑推理能力实测来自 unlock-deepseek 项目群。
有一道很有意思的题目：
下面我会给你一道数学单选题，请选出正确答案。题目信息如下：
下面说法正确的是（ ）．
A：跳远测距离，根据的是两点之间线段最短．
B：跳高杆不会掉落，是因为两点确定一条直线．
C：多条跑道找捷径，根据的是垂线段最短．
D：同一路口白色斑马线互相平行，是因为过直线外一点有且只有一条直线与已知直线平行．
这道题有多难呢，大家可以试试看，模型的思考过程真的特别精彩，上演了足足 7 分多钟的左右脑互搏。。
但是 QwQ 还是回答出了正确答案。
结合数学、代码、逻辑推理三个维度的实测，QwQ 的实力还是挺强悍的，一点也不输几个主流的超大杯参数的推理模型。
Agent 相关能力：Function Call
QwQ-32B 中还集成了与 Agent（智能体）相关的能力，支持函数调用。于是我也测试使用了一下，搭建了一个股票数据分析 Agent：
import os``from openai import OpenAI``import efinance as ef``import json``# 设置模型的 API 地址``openai_api_base = "http://localhost:8000/v1"``api_key = "dummy_key" # 本地部署不需要真实 key``# 实例化 OpenAI 客户端``client = OpenAI(` `api_key=api_key,` `base_url=openai_api_base,``)``# 定义可用的函数``def query_stock_code(stock_name):` `"""查询股票代码"""` `try:` `stock_data = ef.stock.get_realtime_quotes(stock_name)` `return stock_data.to_dict('records')` `except Exception as e:` `return {"error": str(e)}``def get_stock_history(stock_code, start_date=None, end_date=None):` `"""获取股票历史数据"""` `try:` `history_data = ef.stock.get_quote_history(stock_code, start_date, end_date)` `return history_data.to_dict('records')` `except Exception as e:` `return {"error": str(e)}``def get_stock_financial(stock_code):` `"""获取股票财务数据"""` `try:` `financial_data = ef.stock.get_financial_report(stock_code)` `return financial_data.to_dict('records')` `except Exception as e:` `return {"error": str(e)}``# 定义函数映射``function_map = {` `"query_stock_code": query_stock_code,` `"get_stock_history": get_stock_history,` `"get_stock_financial": get_stock_financial``}``# 定义函数描述，用于告诉模型可用的函数``functions = [` `{` `"name": "query_stock_code",` `"description": "查询股票的实时行情数据",` `"parameters": {` `"type": "object",` `"properties": {` `"stock_name": {` `"type": "string",` `"description": "股票名称或代码"` `}` `},` `"required": ["stock_name"]` `}` `},` `{` `"name": "get_stock_history",` `"description": "获取股票的历史行情数据",` `"parameters": {` `"type": "object",` `"properties": {` `"stock_code": {` `"type": "string",` `"description": "股票代码"` `},` `"start_date": {` `"type": "string",` `"description": "开始日期，格式为YYYY-MM-DD"` `},` `"end_date": {` `"type": "string",` `"description": "结束日期，格式为YYYY-MM-DD"` `}` `},` `"required": ["stock_code"]` `}` `},` `{` `"name": "get_stock_financial",` `"description": "获取股票的财务报表数据",` `"parameters": {` `"type": "object",` `"properties": {` `"stock_code": {` `"type": "string",` `"description": "股票代码"` `}` `},` `"required": ["stock_code"]` `}` `}``]``def interactive_stock_query():` `"""交互式股票查询功能"""` `print("欢迎使用股票查询助手！您可以询问任何有关股票的问题。输入'退出'结束对话。")` `# 保存对话历史` `conversation_history = []` `while True:` `user_input = input("\n请输入您的问题: ")` `if user_input.lower() in ['退出', 'exit', 'quit']:` `print("感谢使用，再见！")` `break` `# 添加用户输入到对话历史` `conversation_history.append({"role": "user", "content": user_input})` `try:` `# 调用模型，允许函数调用` `response = client.chat.completions.create(` `model="QwQ-32B",` `messages=conversation_history,` `functions=functions,` `function_call="auto"` `)` `assistant_message = response.choices[0].message` `# 添加助手回复到对话历史` `conversation_history.append(assistant_message)` `# 检查是否有函数调用` `if assistant_message.function_call:` `function_call = assistant_message.function_call` `function_name = function_call.name` `# 解析函数参数` `try:` `function_args = json.loads(function_call.arguments)` `except json.JSONDecodeError:` `print("函数参数解析错误")` `continue` `print(f"正在调用函数: {function_name}")` `# 执行函数` `if function_name in function_map:` `function_to_call = function_map[function_name]` `function_response = function_to_call(**function_args)` `# 将函数执行结果添加到对话历史` `conversation_history.append({` `"role": "function",` `"name": function_name,` `"content": json.dumps(function_response, ensure_ascii=False)` `})` `# 再次调用模型，让它解释函数执行结果` `second_response = client.chat.completions.create(` `model="QwQ-32B",` `messages=conversation_history` `)` `# 输出模型解释` `print("\n助手:", second_response.choices[0].message.content)` `# 添加到对话历史` `conversation_history.append(second_response.choices[0].message)` `else:` `print(f"未知函数: {function_name}")` `else:` `# 直接输出模型回复` `print("\n助手:", assistant_message.content)` `except Exception as e:` `print(f"发生错误: {str(e)}")``if __name__ == "__main__":` `interactive_stock_query()
成果展示：
支持 Function Call 不仅增强了模型的实际应用能力，还能使它能够在使用工具的同时进行批判性思考，并根据环境反馈调整推理过程。
写在最后
总体来说，这次通义开源的 QwQ-32B 推理模型还是很不错的：
-
第一是 32B 小参数模型性能与超大参数的推理模型性能不相上下，做到了在保证性能的同时降低对计算资源的依赖，从而实现更加环保、可持续的AI技术发展；
-
第二是响应速度也是相当不错的，不会遇到服务器繁忙的情况；
-
第三是它支持
function call功能，这一点对于模型开发来说有多重要就不必多说了。
如今，距离 o1 模型发布不过五个月，推理模型领域已经迎来了百花齐放的新局面。
犹记得前段时间大家还在全网寻找 "满血版"DeepSeek-R1 的使用渠道，转眼间就出现了小尺寸且性能强悍的 QwQ-32B 模型。这个量级在本地部署没太大压力，也可以在阿里云百炼平台调用 QwQ 的 API 进行开发。对于创业者、小型团队，或者想要做专业 AI 应用的公司而言，成本大大降低。
自 2023 年 8 月以来，通义千问累计开源了 200 多款模型。很低调，但在做实事，真正在推动大模型技术的普惠和应用的落地，促进国内大模型生态的繁荣。
向通义千问团队致敬。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！
在这个版本当中：
第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言
您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
五、AI产品经理大模型教程
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
扫一扫
522
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
