QwQ-32B一键部署！真正的0代码，0脚本，0门槛

最新推荐文章于 2025-03-24 20:53:30 发布
最新推荐文章于 2025-03-24 20:53:30 发布
阅读量1.8k 收藏 32
点赞数 18
文章标签： 人工智能 LLM 自然语言处理 大数据 langchain Qwen 通义千问
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DEVELOPERAA/article/details/146080563
版权

阿里云发布的最新模型QwQ-32B，通过强化学习大幅度提升了模型推理能力。模型数学代码等核心指标（AIME 24/25、livecodebench）以及部分通用指标（IFEval、LiveBench等）达到DeepSeek-R1 满血版水平，各指标均显著超过同样基于 Qwen2.5-32B 的 DeepSeek-R1-Distill-Qwen-32B。

阿里云系统运维管理（OOS）的公共扩展功能为您提供了一键部署OpenWebUI+Ollama的便捷方案，让您轻松部署QwQ-32B模型到阿里云ECS。另外，您也可以连接阿里云百炼的QwQ-32B在线模型，本文也将提供详细的解决方案！

整个方案不需要任何的代码和命令执行，全部在控制台完成，所以新手朋友也不用担心哦，大胆地尝试起来吧！

部署OpenWebUI+Ollama

前提条件

  • ecs配置

  • 如果您需要本地部署qwq-32b，建议ecs性能至少达到：CPU 16核以上，内存64GB+，硬盘30GB+，显卡24GB+显存；

  • 如果您选择连接阿里云百炼qwq-32b在线模型，普通ECS即可；

  • 您的ECS操作系统版本为以下之一：

  • Alibaba Cloud Linux （2.1903 LTS、3.2104 LTS）推荐

  • Ubuntu（20.04、22.04、24.04）

  • CentOS（7.7、7.8、7.9）

  • Debian（12.5、12.6）

  • OpenSUSE 15

  • Fedora（38、39、40）

  • Anolis OS（8.8、8.9）

  • AlmaLinux（9.3、9.4、9.5）

  • ECS实例必须处于运行中状态

  • ECS实例必须要有公网

  • 安全组入方向必须开启3000端口

安装步骤

  1. 阿里云系统运维管理控制台[1]中找到OpenWebUI扩展 点击安装扩展程序。

  1. 请选择想要安装到的ECS实例，并点击创建。

  1. 等待执行几分钟，安装完成后。点击输出->扩展信息。您可以在配置输出里面找到已安装好的OpenWebUI的Url(格式为 http://{ECS的公网ip}:3000)。

  1. 点击url链接，根据提示创建账号并登录即可。

注意：

  • 您需要确认安全组入方向3000端口已经开放，详情见附录1。

  • 第一次登陆会比较慢，请在登陆后按照附录2说明，更改配置。下次登陆就会变快。

在Open WebUI部署QwQ-32B本地大模型

当您登陆进入管理界面，您可以直接在对话界面搜索，想要本地部署的模型。本文以部署QwQ-32B模型为例。点击从ollama官网[2]拉取，等待模型下载部署完成后，就可以直接使用啦！您可以在ollama官网查看可供下载的大模型。

下载完成后，您可以选择模型并开始对话。

更多信息可以参考OpenWebUI官方文档[3]。

在Open WebUI连接阿里云百炼在线模型

如果说您的ECS性能无法满足本地运行要求，您也可以配置连接阿里云百炼[4]的在线模型。百炼现在对于新用户还有最长达半年的免费额度，具体信息请参考新人免费额度_大模型服务平台百炼[5]。

点击进入管理员面板：

添加阿里云百炼的连接：

模型名称、URL（https://dashscope.aliyuncs.com/compatible-mode/v1）、API KEY等信息，都可以在阿里云百炼的控制台找到。

保存好后，回到对话页面，您就可以找到刚才配置的模型，并开始对话了。

原理解析

什么是OpenWebUI和Ollama

OpenWebUI 是一个开源的用户界面（UI）工具，通常用于与大型语言模型（LLM）进行交互。它提供了一个图形化的前端界面，使得用户可以更方便地与大模型进行对话、测试和调试。

OpenWebUI 支持多种后端模型，允许用户通过简单的配置文件或命令行参数来切换不同的模型。它通常用于研究、开发和演示场景，帮助开发者和研究人员更直观地了解模型的表现。

OpenWebUI 的主要功能特点：

  • 支持多种语言模型（如 LLaMA、ChatGLM、Qwen 等）。

  • 提供了友好的图形化界面，便于用户输入和查看输出。

  • 可以自定义提示词（prompt），并支持多轮对话。

  • 支持模型推理时的参数调整，如温度（temperature）、top-k、top-p 等。

Ollama 是一个专为大语言模型服务设计的开源工具，方便用户在本地快速部署大型模型。通过简单的安装过程，用户可以用一条命令即可启动和操作这些开源的大语言模型。它提供了一个易于使用的命令行界面和服务器，旨在简化构建大语言模型应用的流程。用户可以方便地下载、运行和管理各种开源的大模型。

上述安装过程中，扩展程序内的OpenWebUI已经完成了与Ollama的集成。借助OpenWebUI 提供的图形化用户界面，使得与 Ollama 交互变得更加直观和便捷。就像上面安装时，我们在UI界面搜索并点击下载QWQ-32b模型模型，背后其实就是执行了Ollama的命令，完成模型的下载和部署。这大大简化了操作流程，还提高了开发效率和灵活性。

安装脚本解析

您可以在公共扩展的详情页，找到完整的安装脚本：

主要是先完成了docker的安装，再拉取open-webui:ollama镜像，启动容器。这个镜像内已配置好open-webui和ollama的集成，维护在aliyun-computenest-opensource-registry这个公开仓库，您可随时拉取使用。

脚本里，docker命令创建了名为 ollama 和open-webui 的卷，用于持久化容器内的数据，并将主机的3000端口映射到容器的8080端口。您可以按需调整脚本，以适应个性化的安装需求。

之前是docker安装-----------sudo systemctl start dockersudo systemctl enable docker docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always aliyun-computenest-opensource-registry.cn-hangzhou.cr.aliyuncs.com/default/open-webui:ollama sleep 5 # 等待容器初始化docker ps -f name=openwebui

OpenWebUI高级玩法介绍

除了上面提到的基本的对话功能，openwebui还有很多有意思的功能，我们来看几个比较常用的功能。

模型对比输出

您可以添加多个模型，开启对话后，会以分栏的方式，同时展示不同模型的回答。您可以对比回答，挑选更符合要求的。

您还可以整合多个回答的问题：

自定义推理参数

您可以自定义模型的系统提示词、函数调用、温度k等配置，调出最适合自己的模型参数。

此外，OpenWebUI还有个性化知识库、AI对话游乐场等功能，您可以在官方文档[6]中继续探索！

附录

1. 开启安全组3000端口的方法（详细说明请看官方文档）：

进入实例详情页，点击安全组选项，并点击安全组名称

点击快速添加，新增需要开放的端口。这里请开放3000端口。

  1. Open WebUI访问慢的问题

点击进入管理员面板，关闭OpenAI的连接（或者您可按需换成如阿里云百炼这种访问速度较快的外部API）：

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

LLM大模型
关注
QwQ-32B大模型本地部署全攻略：推理能力爆表，消费级GPU也能轻松玩转！
数据与算法架构提升之路专栏
03-13 1763
QwQ-32B是来自Qwen的一个320亿参数的推理模型，擅长复杂问题求解。数学推理玩井字棋等游戏利用推理能力解决复杂问题生成具有真实物理模拟的代码可以看到在官方放出的评测图中， QwQ-32B 与满血版 DeepSeek R1（671B）在五项基准测试的得分不相上下，更是远超同尺寸 R1 蒸馏模型。
我花了5分钟，成功部署阿里QwQ-32B，秒出的感觉太爽了
h1453586413的博客
03-08 4137
Manus 昨天平地一声雷炸的圈子里的好多人都头脑发热了，官方和一些带节奏的人估计都度过了难忘的一天。今天圈子终于开始有点回归理性了。今天除了五位数的邀请码一码难求，另一边复现 Manus 项目出的飞快，连卖 Manus 的课教程都冒出来了，真快啊（不过大家还是要谨慎一点擦亮眼睛）。回到今天群聊的榜一大哥——QwQ 32B.我翻了一下聊天记录，吐槽最多的是——推题 token 太长，动辄 2、3 万字一直在推理，不出东西其实 QwQ 这个模型之前发布过一个预览版，只不过这次是正式版。
QwQ-32b 模型私有化部署来啦！！！
机器视觉博客
03-07 1664
2025年3月6日，千问团队推出了 QwQ-32B，在一系列权威基准测试中，千问QwQ-32B 模型表现异常出色，几乎完全超越了OpenAI-o1-mini，比肩最强开源推理模型DeepSeek-R1
QWQ-32B 本地私有化部署，性能媲美DeepSeek-R1满血版
2401_84495872的博客
03-21 1704
QWQ-32B是阿里巴巴最新开源的一款新型推理模型，规模仅拥有320亿参数，但在多项基准测试中，性能几乎媲美，甚至某些测试中超越了。官方提供的评估对比图：从上图可以看出QwQ-32B表现出色，整体几乎超越，在和测试集上与几乎持平，在BFCL(函数调用)测试中，均超越。但其只有32B的参数量，在如此优秀效果的前提下又大幅降低了部署使用的成本。modelscope 地址：huggleface 地址：本次本地部署QWQ-32B推理优化框架采用vLLM，使用Open-WebUI。
单显卡即可！深度解析QWQ-32B开源模型本地化部署
h1453586413的博客
03-08 5032
日前，阿里云通义千问官方宣布推出最新推理模型QWQ-32B。QWQ-32B 模型以其的“小巧”身材，实现了的卓越性能，这无疑是一个令人振奋的突破。其成功的关键，在于创新性地引入了策略。传统AI模型通常依赖于预训练和微调，这种模式在处理复杂推理任务时，往往显得力不从心。QWQ-32B 采用了独特的双阶段强化学习训练方法，模拟了人类从错误中学习、不断精进的过程。模型在初期训练中，接受基于明确结果的奖励信号，例如数学题的对错、代码的运行结果等。这使得模型能够快速掌握特定领域的专业技能。
阿里QwQ-32B本地部署方案（含安全设置）
2501_90882596的博客
03-07 5423
今日凌晨，阿里发布最新的推理模型QwQ-32B。这是一款拥有 320 亿参数的模型，其性能可与具备 6710 亿参数（其中 370 亿被激活）的 DeepSeek-R1 媲美。
QWQ-32B概述与本地部署使用
寸先生的AI道路
03-08 2140
2025年3月5日，阿里巴巴千问QwQ-32B，即DeepSeek之后，中国AI大模型有一次震惊世界。QwQ-32B 的运行成本显著低于 DeepSeek-R1 等模型，性能更优，成本仅为 1/10，体现了我国在被外国技术封锁的情况下进行进行自主创新的能力。QwQ 是 Qwen 系列的大模型之一，专注于 推理能力（reasoning）。
可以说全站最简：0代码1分钟极简本地部署QwQ-32B教程
Mistyyyyyyy的博客
03-13 477
0代码1分钟本地部署qwq/deepseek教程
AI前线：QWQ-32B模型部署攻略
轻口味的专栏
03-07 1104
模型数学代码等核心指标（AIME 24/25、livecodebench）以及部分通用指标（IFEval、LiveBench等）达到DeepSeek-R1 满血版水平，各指标均显著超过同样基于 Qwen2.5-32B 的 DeepSeek-R1-Distill-Qwen-32B。QwQ-32B是中型推理模型，能够与最先进的推理模型（如DeepSeek-R1, 01 -mini）竞争。本地部署qwq-32b建议的配置：CPU 16核以上，内存64GB+，硬盘30GB+，显卡24GB+显存。
重磅！QwQ-32B 本地部署全攻略：用 Ollama 一键运行，轻松上手！
2401_84204207的博客
03-11 2176
想象一下，你的 AI 无需联网，就能流畅地回答问题，甚至生成代码、优化工作流。无论是 隐私保护、离线可用、低成本运行，还是 稳定无延迟，本地大模型的优势已经让越来越多的技术人跃跃欲试。本教程学习如何在本地使用 Ollama 安装、设置和运行 QwQ-32B，并构建一个简单的 Gradio 应用程序。今天的主角 QwQ-32B，正是本地部署的明星选手！QwQ-32B 是 Qwen 的推理模型，它旨在在复杂问题解决和推理任务中表现出色。尽管只有 320 亿个参数，但该模型在性能上与拥有 6710 亿个参数的更大
星海智算：QwQ-32B的实战部署与体验，比肩671B DeepSeek
2402_84709675的博客
03-13 1133
在人工智能领域，模型的性能和部署效率一直是开发者关注的焦点。最近，阿里开源的QwQ-32B推理模型引起了广泛关注。这款32B模型在性能上与671B的DeepSeek R1不相上下，却能在单台机器上高效运行，堪称技术的一大突破。
QwQ-32B 开源！本地部署+微调教程来了
机器学习社区
03-09 2659
今天，通义千问开源了推理模型QwQ-32BQwQ-32B 在一系列基准测试中进行了评估，测试了数学推理、编程能力和通用能力。以下结果展示了 QwQ-32B 与其他领先模型的性能对比，包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 以及原始的 DeepSeek-R1。
【转载】单卡RTX 4090轻松部署Qwen QwQ-32B-AWQ！详细教程+性能实测-CSDN博客
Working harder, getting stronger!
03-10 474
本文转自：https://blog.csdn.net/scwang18/article/details/132996860🌟🌟听说用大模型做复杂任务很吃硬件？但今天我们要告诉你——不信？看完这篇教程，带你从环境配置到部署测试，分分钟体验320亿参数大模型的威力！
vllm部署QwQ32B(满精度)
最新发布
hbkybkzw的博客
03-24 1877
Ollama是一个轻量级的开源LLM推理框架，注重简单易用和本地部署，而VLLM是一个专注于高效推理的开源大型语言模型推理引擎，适合开发者在实际应用中集成和使用。两者的主要区别在于Ollama更注重为用户提供多种模型选择和易用性，而VLLM更注重模型推理性能的优化。所以VLLM更适合企业级的高并发需求。vllm的github地址QwQ32B硬件要求Q4_K_M量化，大概需要22G左右够用，一张3090或者4090即可，魔改2080ti 的 22G 显存差不多够用。
o1圈的新王！阿里QwQ-32B开源
m0_59235245的博客
11-29 3623
11月28日，阿里通义千问正式推出了QwQ-32B-Preview[1]实验性研究模型。该模型展现出卓越的AI推理能力，尤其在数学和编程领域的复杂问题解决上表现突出，是少数能与OpenAI的o1匹敌的模型之一。数据来源于官方QwQ-32B-Preview的具体表现：在AIME、MATH等基准测试中，其表现优异，如在MATH-500基准测试中成绩为90.6%还具备优秀的编码能力，在LiveCodeBench上表现接近 OpenAI o1-preview。
QwQ-32B 测评和使用教程来了！
Datawhale
03-07 1651
Datawhale干货作者：张龙斐，Datawhale鲸英助教昨天凌晨，阿里开源了全新的推理模型：QwQ-32B。据官方发布消息，该模型性能比肩满血版 DeepSeek-R1（671B）！可以看到在官方放出的评测图中， QwQ-32B 与满血版 DeepSeek R1（671B）在五项基准测试的得分不相上下，更是远超同尺寸 R1 蒸馏模型。看到了这些消息后，我就开始上手深度测试。QwQ-32B...
QwQ-32B部署
03-11
### QwQ-32B 部署指南与解决方案 对于大型模型如QwQ-32B，在部署过程中需考虑硬件资源分配、软件环境配置以及性能优化等问题。具体来说： #### 硬件准备 为了支持如此大规模参数量的模型运行，建议采用具备高性能GPU集群的支持方案[^1]。每台机器应至少配备有8张A100 GPU卡，并确保网络带宽充足以便于分布式推理。 #### 软件环境搭建 推荐基于Docker容器化技术来创建隔离的工作环境，这样可以有效解决不同版本依赖带来的冲突问题。安装必要的Python库文件，特别是PyTorch框架及其对应的CUDA驱动程序版本。 #### 性能调优策略 针对QwQ-32B这类超大尺寸的语言模型，可以通过量化方法减少内存占用；利用混合精度训练加速计算过程而不明显损失准确性；实施批处理机制提高吞吐率并降低延迟时间。 ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer device = "cuda" if torch.cuda.is_available() else "cpu" model_name_or_path = "path_to_qwq_32b_model" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path).to(device) def generate_text(prompt): inputs = tokenizer(prompt, return_tensors="pt").to(device) outputs = model.generate(**inputs) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return result ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值