QwQ-32B一键部署！真正的0代码，0脚本，0门槛

最新推荐文章于 2025-04-01 17:43:42 发布
最新推荐文章于 2025-04-01 17:43:42 发布
阅读量1.7k 收藏 21
点赞数 14
文章标签： 人工智能 产品经理 大数据 机器学习 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bagell/article/details/146113301
版权

阿里云发布的最新模型QwQ-32B，通过强化学习大幅度提升了模型推理能力。模型数学代码等核心指标（AIME 24/25、livecodebench）以及部分通用指标（IFEval、LiveBench等）达到DeepSeek-R1 满血版水平，各指标均显著超过同样基于 Qwen2.5-32B 的 DeepSeek-R1-Distill-Qwen-32B。

阿里云系统运维管理（OOS）的公共扩展功能为您提供了一键部署OpenWebUI+Ollama的便捷方案，让您轻松部署QwQ-32B模型到阿里云ECS。另外，您也可以连接阿里云百炼的QwQ-32B在线模型，本文也将提供详细的解决方案！

整个方案不需要任何的代码和命令执行，全部在控制台完成，所以新手朋友也不用担心哦，大胆地尝试起来吧！

部署OpenWebUI+Ollama

前提条件

  • ecs配置

  • 如果您需要本地部署qwq-32b，建议ecs性能至少达到：CPU 16核以上，内存64GB+，硬盘30GB+，显卡24GB+显存；

  • 如果您选择连接阿里云百炼qwq-32b在线模型，普通ECS即可；

  • 您的ECS操作系统版本为以下之一：

  • Alibaba Cloud Linux （2.1903 LTS、3.2104 LTS）推荐

  • Ubuntu（20.04、22.04、24.04）

  • CentOS（7.7、7.8、7.9）

  • Debian（12.5、12.6）

  • OpenSUSE 15

  • Fedora（38、39、40）

  • Anolis OS（8.8、8.9）

  • AlmaLinux（9.3、9.4、9.5）

  • ECS实例必须处于运行中状态

  • ECS实例必须要有公网

  • 安全组入方向必须开启3000端口

安装步骤

  1. 阿里云系统运维管理控制台[1]中找到OpenWebUI扩展 点击安装扩展程序。

  1. 请选择想要安装到的ECS实例，并点击创建。

  1. 等待执行几分钟，安装完成后。点击输出->扩展信息。您可以在配置输出里面找到已安装好的OpenWebUI的Url(格式为 http://{ECS的公网ip}:3000)。

  1. 点击url链接，根据提示创建账号并登录即可。

注意：

  • 您需要确认安全组入方向3000端口已经开放，详情见附录1。

  • 第一次登陆会比较慢，请在登陆后按照附录2说明，更改配置。下次登陆就会变快。

在Open WebUI部署QwQ-32B本地大模型

当您登陆进入管理界面，您可以直接在对话界面搜索，想要本地部署的模型。本文以部署QwQ-32B模型为例。点击从ollama官网[2]拉取，等待模型下载部署完成后，就可以直接使用啦！您可以在ollama官网查看可供下载的大模型。

下载完成后，您可以选择模型并开始对话。

更多信息可以参考OpenWebUI官方文档[3]。

在Open WebUI连接阿里云百炼在线模型

如果说您的ECS性能无法满足本地运行要求，您也可以配置连接阿里云百炼[4]的在线模型。百炼现在对于新用户还有最长达半年的免费额度，具体信息请参考新人免费额度_大模型服务平台百炼[5]。

点击进入管理员面板：

添加阿里云百炼的连接：

模型名称、URL（https://dashscope.aliyuncs.com/compatible-mode/v1）、API KEY等信息，都可以在阿里云百炼的控制台找到。

保存好后，回到对话页面，您就可以找到刚才配置的模型，并开始对话了。

原理解析

什么是OpenWebUI和Ollama

OpenWebUI 是一个开源的用户界面（UI）工具，通常用于与大型语言模型（LLM）进行交互。它提供了一个图形化的前端界面，使得用户可以更方便地与大模型进行对话、测试和调试。

OpenWebUI 支持多种后端模型，允许用户通过简单的配置文件或命令行参数来切换不同的模型。它通常用于研究、开发和演示场景，帮助开发者和研究人员更直观地了解模型的表现。

OpenWebUI 的主要功能特点：

  • 支持多种语言模型（如 LLaMA、ChatGLM、Qwen 等）。

  • 提供了友好的图形化界面，便于用户输入和查看输出。

  • 可以自定义提示词（prompt），并支持多轮对话。

  • 支持模型推理时的参数调整，如温度（temperature）、top-k、top-p 等。

Ollama 是一个专为大语言模型服务设计的开源工具，方便用户在本地快速部署大型模型。通过简单的安装过程，用户可以用一条命令即可启动和操作这些开源的大语言模型。它提供了一个易于使用的命令行界面和服务器，旨在简化构建大语言模型应用的流程。用户可以方便地下载、运行和管理各种开源的大模型。

上述安装过程中，扩展程序内的OpenWebUI已经完成了与Ollama的集成。借助OpenWebUI 提供的图形化用户界面，使得与 Ollama 交互变得更加直观和便捷。就像上面安装时，我们在UI界面搜索并点击下载QWQ-32b模型模型，背后其实就是执行了Ollama的命令，完成模型的下载和部署。这大大简化了操作流程，还提高了开发效率和灵活性。

安装脚本解析

您可以在公共扩展的详情页，找到完整的安装脚本：

主要是先完成了docker的安装，再拉取open-webui:ollama镜像，启动容器。这个镜像内已配置好open-webui和ollama的集成，维护在aliyun-computenest-opensource-registry这个公开仓库，您可随时拉取使用。

脚本里，docker命令创建了名为 ollama 和open-webui 的卷，用于持久化容器内的数据，并将主机的3000端口映射到容器的8080端口。您可以按需调整脚本，以适应个性化的安装需求。

之前是docker安装-----------sudo systemctl start dockersudo systemctl enable docker docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always aliyun-computenest-opensource-registry.cn-hangzhou.cr.aliyuncs.com/default/open-webui:ollama sleep 5 # 等待容器初始化docker ps -f name=openwebui

OpenWebUI高级玩法介绍

除了上面提到的基本的对话功能，openwebui还有很多有意思的功能，我们来看几个比较常用的功能。

模型对比输出

您可以添加多个模型，开启对话后，会以分栏的方式，同时展示不同模型的回答。您可以对比回答，挑选更符合要求的。

您还可以整合多个回答的问题：

自定义推理参数

您可以自定义模型的系统提示词、函数调用、温度k等配置，调出最适合自己的模型参数。

此外，OpenWebUI还有个性化知识库、AI对话游乐场等功能，您可以在官方文档[6]中继续探索！

附录

1. 开启安全组3000端口的方法（详细说明请看官方文档）：

进入实例详情页，点击安全组选项，并点击安全组名称

点击快速添加，新增需要开放的端口。这里请开放3000端口。

  1. Open WebUI访问慢的问题

点击进入管理员面板，关闭OpenAI的连接（或者您可按需换成如阿里云百炼这种访问速度较快的外部API）：

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

在这里插入图片描述
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）
QwQ-32B企业级本地部署：结合XInference与Open-WebUI使用
maxcode
03-11 1225
QwQ-32B是阿里巴巴Qwen团队推出的一款推理模型，拥有320亿参数，基于Transformer架构，采用大规模强化学习方法训练而成。它在数学推理、编程等复杂问题解决任务上表现出色，性能可媲美拥有6710亿参数的DeepSeek-R1。QwQ-32B在多个基准测试中表现出色，例如在AIME24基准上，其数学问题解决能力得分达到79.5，超过OpenAI的o1-mini。它在LiveBench、IFEval和BFCL基准上甚至略微超过了DeepSeek-R1-671B。
保姆级教程：阿里QwQ-32B模型本地部署与企业级应用实战（附万字指南+工具链）
资深全栈架构师，乐于在 CSDN 分享技术见解，与大家携手共进，共攀技术巅峰！
03-07 1135
验证API（curl http://localhost:8000）克隆仓库（git clone https://...）安装依赖（CUDA 12.1 + cuDNN）启动服务（python server.py）数据来源：阿里开源文档[[4]][[6]]下载模型权重（ModelScope）
2025最新QwQ-32B模型使用教程：从部署到实战，手把手教你玩转AI推理模型（附保姆级指南）
资深全栈架构师，乐于在 CSDN 分享技术见解，与大家携手共进，共攀技术巅峰！
03-07 2136
QwQ-32B是阿里巴巴推出的最新推理模型，仅用320亿参数，性能媲美671B参数的DeepSeek-R1。它在数学、编程和通用能力方面表现卓越，支持多模态任务和Agent相关能力，能够根据环境反馈动态调整策略。QwQ-32B不仅是AI技术的突破，更是推理模型的典范。无论是数学、编程还是逻辑推理，它都能帮你高效完成任务。立即行动，下载模型并加入开发者社区，开启你的AI推理之旅！👉 关注作者并私信“QwQ教程”获取全套案例代码与资源包！#QwQ32B #AI推理模型 #保姆级教程 #2025趋势。
全球首发：QwQ-32B本地一键部署、3090单卡可跑，共享算力成关键
m0_70486148的博客
03-08 997
算了么」团队拥有深厚的学术和技术背景，核心成员来自清华大学、北京大学以及 Intel、字节跳动等知名企业。团队在分布式资源调度领域深耕多年，曾获 2024 年中国国际大学生创新大赛亚军（金奖，创业组冠军），并已获得奇绩创坛、水木创投等知名机构的投资。早在平台创立之初，「算了么」团队就敏锐洞察到大模型发展的两大趋势：「小型化」与「分布式」。两者均对当前大模型的实际应用落地具有重要的推动作用。
我花了5分钟，成功部署阿里QwQ-32B，秒出的感觉太爽了
h1453586413的博客
03-08 4159
Manus 昨天平地一声雷炸的圈子里的好多人都头脑发热了，官方和一些带节奏的人估计都度过了难忘的一天。今天圈子终于开始有点回归理性了。今天除了五位数的邀请码一码难求，另一边复现 Manus 项目出的飞快，连卖 Manus 的课教程都冒出来了，真快啊（不过大家还是要谨慎一点擦亮眼睛）。回到今天群聊的榜一大哥——QwQ 32B.我翻了一下聊天记录，吐槽最多的是——推题 token 太长，动辄 2、3 万字一直在推理，不出东西其实 QwQ 这个模型之前发布过一个预览版，只不过这次是正式版。
可以说全站最简：0代码1分钟极简本地部署QwQ-32B教程
Mistyyyyyyy的博客
03-13 484
0代码1分钟本地部署qwq/deepseek教程
重磅！QwQ-32B 本地部署全攻略：用 Ollama 一键运行，轻松上手！
2401_84204207的博客
03-11 2188
想象一下，你的 AI 无需联网，就能流畅地回答问题，甚至生成代码、优化工作流。无论是 隐私保护、离线可用、低成本运行，还是 稳定无延迟，本地大模型的优势已经让越来越多的技术人跃跃欲试。本教程学习如何在本地使用 Ollama 安装、设置和运行 QwQ-32B，并构建一个简单的 Gradio 应用程序。今天的主角 QwQ-32B，正是本地部署的明星选手！QwQ-32B 是 Qwen 的推理模型，它旨在在复杂问题解决和推理任务中表现出色。尽管只有 320 亿个参数，但该模型在性能上与拥有 6710 亿个参数的更大
手把手教你本地部署QwQ-32B：轻松吊打DeepSeek-R1蒸馏版！
hunteritself的博客
03-07 5221
手把手教你本地部署QwQ-32B：轻松吊打DeepSeek-R1蒸馏版！
QwQ-32B-GGUF模型部署
最新发布
NDF923的专栏
04-01 1102
由于硬件只有两张4090卡，但是领导还想要满血版32b的性能，那就只能部署GGUF版。据说QwQ-32B比Deepseek-R1-32b要更牛逼一些，所以就选择部署QwQ-32B-GGUF，根据最终的测试--针对长文本（3-5M大小）的理解，QwQ-32B-GGUF确实要比Deepseek-R1-32b-GGUF好一些。是阿里官方发布的原始模型，通常以 PyTorch 权重文件（如.bin或）形式存储，需依赖深度学习框架（如 Hugging Face Transformers）加载。
杰克马回归引爆AI圈，QwQ-32B强势开源，笔记本秒杀Deepseek！
qq_30680739的博客
03-07 2272
凌晨，阿里云扔出了一颗大招——。，能写代码、解数学题、逻辑推理一把抓。更夸张的是——有兴趣的可以直接试试看，。在大模型的世界，大家早已习惯了“参数越大，效果越强”这一 Scaling Law。DeepSeek-R1、GPT-4 这些巨无霸模型，依靠庞大参数量形成碾压式优势，但这意味着。阿里这次反其道而行之，，靠的是什么？QwQ-32B 通过，针对数学、编程、逻辑推理等任务进行了专项优化。在和中，。DeepSeek-R1 的 Q4 量化版，，需要四张 24GB 显存的 4090 才能跑起来。
阿里QwQ-32B本地部署方案（含安全设置）
2501_90882596的博客
03-07 5430
今日凌晨，阿里发布最新的推理模型QwQ-32B。这是一款拥有 320 亿参数的模型，其性能可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 媲美。
QWQ-32B 本地私有化部署，性能媲美DeepSeek-R1满血版
2401_84495872的博客
03-21 1718
QWQ-32B是阿里巴巴最新开源的一款新型推理模型，规模仅拥有320亿参数，但在多项基准测试中，性能几乎媲美，甚至某些测试中超越了。官方提供的评估对比图：从上图可以看出QwQ-32B表现出色，整体几乎超越，在和测试集上与几乎持平，在BFCL(函数调用)测试中，均超越。但其只有32B的参数量，在如此优秀效果的前提下又大幅降低了部署使用的成本。modelscope 地址：huggleface 地址：本次本地部署QWQ-32B推理优化框架采用vLLM，使用Open-WebUI。
阿里最新开源QwQ-32B，效果媲美deepseek-r1满血版，部署成本又又又降低了！
程序猿DD
03-06 1008
3月6日最新消息，阿里云通义千问官方宣布推出最新推理模型 QwQ-32B，这一模型仅有 32B 参数，但在效果上与拥有 671B 参数的 DeepSeek-R1 相媲美。如果你自己部署 DeepSeek-R1 但资源不够的话，又多了一个新的选择。QwQ-32B 的独特之处不仅在于其参数规模和效果表现，还集成了与 Agent 相关的能力。这使得模型在使用工具时能够进行批判性思考，并依据环境反馈灵活调...
LLMs之RL：QwQ-32B的简介、特点、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-07 1978
​ LLMs之RL：QwQ-32B的简介、特点、安装和使用方法、案例应用之详细攻略 目录 QwQ-32B的简介 QwQ-32B 的安装和使用方法 QwQ-32B的案例应用 QwQ-32B的简介 2025年3月6日，QwQ-32B 是一个拥有 320 亿参数的大型语言模型。它通过强化学习 (Reinforcement Learning, RL) 进行训练，旨在提升模型的推理能力，其性能可以与拥有 6710 亿参数 (其中 370 亿参数被激活) 的 DeepSeek-R1 模型相媲美
一文读懂：如何在本地部署阿里巴巴大语言模型QwQ-32B——环境搭建、实操步骤
硅基创想家的博客
03-10 2328
是否曾想过在自己的本地机器上运行一个强大的语言模型？现在为你介绍阿里巴巴最新且最强大的大语言模型QwQ-32B。无论你是开发者、研究人员，还是只是一个好奇的技术爱好者，在本地运行QwQ-32B都能为你开启一个充满可能性的世界——从构建定制的人工智能应用程序，到进行先进的自然语言处理任务实验。 在本指南中，我们将一步一步地指导你完成整个过程。我们将使用**Ollama**和**LM Studio**等工具，使设置尽可能顺畅。
重磅突破！QwQ-32B：用强化学习打造的AI推理黑科技
daiziguizhong的博客
03-07 568
QWQ-32B——一个新的里程碑
【国产开源推理大模型】阿里通义千问开源QwQ-32B-Preview实验性研究模型
AI天才研究院
11-29 1000
QwQ-32B-Preview 是由 Qwen 团队开发的实验性研究模型，专注于增强 AI 推理能力。作为预览版本，它展现了令人期待的分析能力，同时也存在以下局限：语言切换问题：模型可能在回答中混合使用不同语言，影响表达的连贯性。推理循环：在处理复杂逻辑问题时，模型偶尔会陷入递归推理模式，在相似思路中循环。这种行为虽然反映了模型试图全面分析的努力，但可能导致冗长而不够聚焦的回答。安全性考虑：尽管模型已具备基础安全管控，但仍需要进一步增强。
[OpenAI-Agent-SDK] 离线接入本地vllm部署的QWQ-32B
chenxin0215的博客
03-23 255
最近刚开始openai-agents-sdk的使用，发现在流程设计，agent 配置以及调用方面确实做到了极为精简，格式化输入与输出也非常方便控制，虽然OpenAI-agents-sdk原生支持openai自家提供的模型，不过在这“群模林立”的形势下，OpenAI-agents-sdk也良心地支持外部模型的接入和使用。使用本地模型，则需要将tracing 关掉，即： set_tracing_disabled(disabled=True)，使用 `function_tool` 装饰器来自定义工具。
QwQ-32B本地部署
03-09
<think>好的，我现在需要帮助用户了解如何在本地环境中部署QwQ-32B模型。首先，我得确认用户的需求是什么。用户提到了本地部署的教程和配置指南，可能涉及安装步骤、硬件要求、依赖项安装、模型下载、运行示例以及常见问题解决。 首先，我应该回顾已有的引用内容。引用[1]提到Hugging Face平台提供了详细的文档和教程，包括安装指南和代码示例，这对用户来说可能很有用。引用[2]是GitHub上的一个具体部署教程，涉及使用vLLM部署Qwen2.5-7B-Instruct模型，虽然模型不同，但可能流程类似，可以作为参考。引用[3]提到HiFox平台支持QwQ-32B的调用，但用户需要的是本地部署，所以这部分可能不太相关，但可以提到如果有需要后续集成到平台的话可以参考。 接下来，我需要组织步骤。通常，本地部署机器学习模型的步骤包括：环境准备（硬件和软件）、依赖安装、模型获取、配置和运行、验证以及问题排查。根据引用内容，Hugging Face的文档可能已经涵盖了这些步骤，而GitHub的教程可能提供了具体的命令行操作和示例代码。 用户可能不熟悉如何从Hugging Face下载模型，所以需要详细说明使用`git-lfs`克隆仓库。另外，硬件要求方面，QwQ-32B作为大型模型可能需要较高的显存，比如至少24GB的GPU内存，这点需要明确。依赖项方面，除了Transformers库，可能还需要其他库如torch、vLLM等，需要根据引用[2]中的内容补充。 还要考虑不同的使用方式，比如使用Hugging Face的Pipeline或者vLLM加速推理。引用[2]中提到了vLLM部署，这可能优化推理速度，值得包括在教程中。此外，常见问题如CUDA版本不兼容、内存不足，需要给出解决建议，比如降低批量大小或使用量化。 最后，生成相关问题，可能涉及性能优化、多GPU部署、微调方法以及与其他工具集成，这些问题可以引导用户进一步探索。 需要确保所有步骤清晰，代码示例正确，并且引用来源正确标注。同时，提醒用户注意模型版本和依赖库的兼容性，避免常见错误。</think>以下是QwQ-32B模型的本地部署教程和配置指南： ### 一、环境准备 1. **硬件要求**： - GPU：推荐NVIDIA A100/A40 (显存≥24GB) - 内存：建议≥64GB DDR4 - 存储：需预留≥80GB固态硬盘空间 2. **软件依赖**： - CUDA 11.8及以上版本 - Python 3.9+ - PyTorch 2.1.0+ ```bash pip install transformers>=4.35.0 huggingface_hub ``` ### 二、模型下载 通过Hugging Face官方仓库获取模型[^1]： ```bash git lfs install git clone https://huggingface.co/QwQ-32B/QWQ-32B-Base ``` ### 三、基础部署 使用Hugging Face Pipeline快速调用： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("QWQ-32B-Base", device_map="auto") tokenizer = AutoTokenizer.from_pretrained("QWQ-32B-Base") inputs = tokenizer("北京的著名景点有", return_tensors="pt").to("cuda") outputs = model.generate(**inputs, max_new_tokens=50) print(tokenizer.decode(outputs[0])) ``` ### 四、高性能部署（vLLM） 参考ModelScope的优化方案[^2]： ```bash pip install vllm==0.3.3 ``` 部署代码： ```python from vllm import LLM, SamplingParams llm = LLM(model="QWQ-32B-Base") sampling_params = SamplingParams(temperature=0.8, top_p=0.95) outputs = llm.generate(["解释量子纠缠现象"], sampling_params) print(outputs[0].outputs[0].text) ``` ### 五、常见问题解决 1. **CUDA内存不足**： - 降低`max_new_tokens`值 - 添加`load_in_4bit=True`参数进行4bit量化 ```python model = AutoModelForCausalLM.from_pretrained(..., load_in_4bit=True) ``` 2. **下载中断**： ```bash huggingface-cli resume-download QWQ-32B-Base ``` ### 六、验证部署 运行测试脚本： ```python import torch print(torch.cuda.is_available()) # 应输出True print(torch.cuda.get_device_name(0)) # 显示GPU型号 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值