【LLM】在PAI-DSW上使用 vLLM + Open-WebUI 部署Qwen2.5

最新推荐文章于 2025-04-11 09:55:00 发布
最新推荐文章于 2025-04-11 09:55:00 发布
阅读量5.1k 收藏 30
点赞数 23
分类专栏： LLM vLLM Open WebUI 文章标签： 阿里云 自然语言处理 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DaveBraid/article/details/142459081
版权

最近在玩LLM，听闻PAI-DSW有三个月免费试用，试了一下感觉还不错，就是有一些学习成本。刚通过vllm+open-webui成功部署了Qwen2.5-7B-Instruct，也是摸索了一段时间，记录一下以便需要使用同样方案的朋友们节省时间，迅速上手。
简便起见，本文所有安装均使用pip工具，不使用docker。

总体思路

从modelscope下载模型，运行vllm serve构建服务器，然后通过Open-WebUI连接并开始对话。

PAI-DSW部署的难点

主要有两个：

  1. 不是本机，没法方便地科学上网。特别是无法直连hugging face；
  2. 镜像不能完全涵盖所需要的环境。
  3. 不是本机，不能直接用浏览器打开localhost（即0.0.0.0）

展开说一下第二点：vllm需要cuda 12以上才能使用，11.8会提示过旧；open-webui需要使用python 3.11才可以使用pip安装。然而，PAI-DSW的镜像中要么是py310+cu121，要么是py311+cu118，欲哭无泪。最后建议大家选择py310+cu121的方案，我们可以通过安装Anaconda，使用虚拟环境来部署Open-WebUI。
对于第三点，原来我以为是不能直接打开的，还专门用了cpolar做透传，结果发现阿里已经想到这一点了，直接点击终端里的链接就能访问，太贴心了。

具体安装流程

模型下载

这里建议通过modelscope下载，非常快，平均速度在300MB/s左右。

自动下载（略）

据我所知，你可以直接使用vllm通过modelscope下载模型，如果默认用的是hugging face可以通过在终端输入

export VLLM_USE_MODELSCOPE=True

然后运行vllm serve，输入模型地址即可下载。但是我在vllm v0.6.1.post2没有成功，故采取手动下载方式，这样其实也不错，不麻烦。

手动下载（推荐）

首先安装modelscope包。由于DSW是有预装的镜像文件的，故建议使用裸py

最低0.47元/天 解锁文章
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-降本增效（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-15 2万+
将Qwen2.5模型与vLLM框架进行有效整合，通过离线推理为实际项目带来更大的价值。
vllm 推理vlm多模态大模型 InternVL使用案例；openai、requests接口使用
weixin_42357472的博客
08-10 1169
参考： 支持模型 https://docs.vllm.ai/en/latest/models/supported_models.html模型要升级到这： 部署： api参考：https://platform.openai.com/docs/guides/vision?lang=curl用base64传递图片
AutoDL + vLLM 部署 Qwen2.5-Omni 并提供跨服务器API访问的完整指南
最新发布
AngelCryToo的专栏
04-11 1674
本文将详细介绍如何在AutoDL云计算平台上使用vLLM部署Qwen2.5-Omni大语言模型，并配置允许从外部服务器访问的API服务。本方案结合了AutoDL的高性价比GPU资源和vLLM的高效推理能力，适合需要对外提供大模型服务的中小企业和开发者。
社区版Dify 基于vLLM部署Qwen2.5-VL系列视觉大模型与推理加速策略
weixin_44119512的博客
04-10 1347
Dify+vLLM+Qwen2.5-VL快速推理，实现Image/video Caption，视觉大模型聊天。
openwebUI访问vllm加载deepseek微调过的本地大模型
weixin_41688410的博客
03-02 1905
本文演示了，使用openwebui调用本地大模型，推理使用vllm,大模型是使用llamafactory微调过的。
政安晨的AI大模型训练实践 六 - open-webui & vLLM 运行
政安晨——致力于AI人工智能数字互动领域
02-12 1668
简单微调出来一个大语言模型后，需要运行它，虽然ollama很方便，也适合部署。但本地测试的话，还可以使用open-webui 和 vLLM这两个工具。 我的博客为了不取悦读者，请自己去查这两个工具是干啥用的，我这里只记录一些命令，做个自己运行的备忘即可。
vLLM部署Qwen2.5-Omni 提供API的详细步骤
AngelCryToo的专栏
04-11 963
的吞吐量（batch_size=32时）。如需进一步优化吞吐或延迟，可根据实际负载调整批处理参数。按照此方案部署后，Qwen2.5-Omni在A100上可实现。量化方式（awq/gptq）
vLLM推理部署Qwen2.5
小森的博客
10-28 6155
借助vLLM，构建一个与OpenAI API兼容的API服务十分简便，该服务可以作为实现OpenAI API协议的服务器进行部署。适用于大批量Prompt输入，并对推理速度要求高的场景，吞吐量比HuggingFace Transformers高10多倍。它旨在提供高性能、低延迟的推理服务，并支持多种硬件加速器，如 GPU 和 CPU。现在的Ubuntu是最简单配置的，如果使用wget等命令，需要使用apt-get下载再使用。这是一款流行的文本生成Web界面工具，拥有多个交互界面，并支持多种模型后端。
【大模型部署实战】VLLM+OpenWebUI实现DeepSeek模型部署
AI浩
03-16 2380
vLLM（Very Large Language Model Serving）是由加州大学伯克利分校团队开发的高性能、低延迟大语言模型（LLM）推理和服务框架。其核心创新在于，通过将注意力键值（KV）缓存分页管理，显著提升显存利用率并降低碎片化问题，使吞吐量比传统框架（如Hugging Face Transformers）提升24倍。该框架支持和，能够高效处理8k+长上下文请求，并兼容OpenAI API接口，开发者可快速部署Hugging Face模型。
一次性搞定：用 vLLM 容器部署 Qwen2.5-VL 并无缝接入本地 Chatbox
qqxdh的博客
03-29 2279
在本地部署一个多模态的大模型并不一定需要天花乱坠的 DevOps 大工程，也不需要写上一堆 Python 代码来启动后端 API。有了容器和vLLM，以及类似Chatbox这样的可视化界面，一条命令就能搞定服务，全程无痛。也希望这样的方法能帮到更多需要低门槛部署大模型、或希望私有化守护数据安全的团队，一起把技术创新落到实处。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势（一）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-20 2万+
Qwen2.5-7B-Instruct集成vllm，流式输出
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-结构化输出（五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
11-21 1万+
通过结构化输出将模型生成的结果组织为易于解析和处理的数据格式。使得后续的数据处理、分析和集成变得更加高效和灵活，便于开发者和应用程序自动提取关键信息，实现更复杂的功能和交互。
使用vLLM部署Qwen2.5-VL-7B-Instruct模型的详细指南
engchina的专栏
02-05 1万+
使用vLLM部署Qwen2.5-VL-7B-Instruct模型的详细指南
vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案
小毕超博客
03-07 2477
vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成 HuggingFace、Modelscope 上的模型。Open WebUI是一个开源的、可扩展的、功能丰富的自托管AI平台，旨在完全离线运行。它主要设计用于与大型语言模型（LLMs）进行交互，支持多种模型和API，提供了直观的图形用户界面，使得用户可以更方便地管理和运行模型。通过 vLLM+Open WebUI快速部署DeepSeek-R1-Distill-Qwen-14B模型。
docker+vllm 快速上手 以部署Qwen2.5通义千问为例
kesanzz的博客
10-28 1万+
一文教你快速上手vllm + docker, 并部署最强开源模型通义千问
部署Qwen2.5大模型过程记录
龙井茶的Sky
11-27 1939
随着AI大模型的不断深入人心，各家大模型厂商也在推出新版本的大模型。在开源领域阿里的千问确实在业界还是不错的。今天正好就来试着部署下最新的qwen2.5大模型，顺便把过程也记录下来。一、Qwen2.5大模型Qwen大模型自从开源以来，随着版本升级，各方面能力也一直在提升，整体水平处于业内前言水平。由于其开源可用，可以低成本的去进行应用。再者每个版本的Qwen大模型，参数量从0.5B到110B都有覆盖，一开始尝试部署使用的时候，就考虑先从Qwen2.5-0.5B-Instruct开始探索。
Xinference+vllm启动qwen2.5*模型
qq_45383803的博客
10-11 6273
xinference+vllm部署模型
vllm+openwebui，玩转私有化AI
qq_56573709的博客
03-28 400
采用vllm推理框架，启动llamafactory微调训练好的大模型openwebui做前端调用。
vllm openwebui
02-18
### 关于vLLM和OpenWebUI的技术信息与项目详情 #### vLLM概述 vLLM 是一个致力于提供大规模语言模型推理服务的开源项目[^1]。该项目旨在通过优化大模型部署过程中的资源利用效率，降低运行成本并提高响应速度。 对于开发者而言，vLLM 提供了一套完整的工具链来支持从训练到上线的大规模预训练模型操作流程。其核心功能包括但不限于： - **高效加载**：实现了多线程异步读取机制，能够快速初始化大型神经网络参数。 - **分布式执行**：借助集群计算能力实现跨节点的任务调度与数据传输管理。 - **灵活配置**：允许用户自定义硬件环境设置以及性能调优选项。 #### OpenWebUI简介 虽然未直接提及具体的`OpenWebUI`项目名称，但从上下文中推测这可能是指基于网页界面的应用程序框架或者是特定平台上的图形化交互组件集合。考虑到关联性，在此假设讨论的是类似于 `ChatGPT-Next-Web` 的前端展示层解决方案。 这类应用通常具备如下特点： - **易于集成**：可以方便地嵌入现有网站或独立作为微服务存在。 - **实时通信**：采用WebSocket等协议保持客户端和服务端之间的持续连接状态。 - **用户体验友好**：注重视觉效果设计的同时兼顾易用性和可访问性原则。 #### 使用指南 为了更好地理解如何结合这两个项目的特性来进行开发工作，下面给出一段简单的 Python 脚本示例，用于模拟向已部署好的 vLLM API 发送请求，并将返回的结果渲染成 HTML 页面显示给最终用户查看。 ```python import requests from flask import Flask, render_template_string app = Flask(__name__) @app.route('/') def index(): response = requests.post('http://localhost:8000/api/generate', json={"prompt": "Once upon a time"}) text_output = response.json()['text'] html_content = f""" <!DOCTYPE html> <html lang="en"> <body> <h1>Generated Story</h1> <p>{text_output}</p> </body> </html> """ return render_template_string(html_content) if __name__ == '__main__': app.run(debug=True) ``` 这段代码创建了一个小型 Web 应用服务器，它会接收来自用户的输入并通过 POST 请求传递至后台处理逻辑；之后再把生成的内容格式化为标准HTML文档结构呈现出来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值