【LLM】在PAI-DSW上使用 vLLM + Open-WebUI 部署Qwen2.5

最近在玩LLM，听闻PAI-DSW有三个月免费试用，试了一下感觉还不错，就是有一些学习成本。刚通过vllm+open-webui成功部署了Qwen2.5-7B-Instruct，也是摸索了一段时间，记录一下以便需要使用同样方案的朋友们节省时间，迅速上手。
简便起见，本文所有安装均使用pip工具，不使用docker。

总体思路

从modelscope下载模型，运行vllm serve构建服务器，然后通过Open-WebUI连接并开始对话。

PAI-DSW部署的难点

主要有两个：

1. 不是本机，没法方便地科学上网。特别是无法直连hugging face；
2. 镜像不能完全涵盖所需要的环境。
3. 不是本机，不能直接用浏览器打开localhost（即0.0.0.0）

展开说一下第二点：vllm需要cuda 12以上才能使用，11.8会提示过旧；open-webui需要使用python 3.11才可以使用pip安装。然而，PAI-DSW的镜像中要么是py310+cu121，要么是py311+cu118，欲哭无泪。最后建议大家选择py310+cu121的方案，我们可以通过安装Anaconda，使用虚拟环境来部署Open-WebUI。
对于第三点，原来我以为是不能直接打开的，还专门用了cpolar做透传，结果发现阿里已经想到这一点了，直接点击终端里的链接就能访问，太贴心了。

具体安装流程

模型下载

这里建议通过modelscope下载，非常快，平均速度在300MB/s左右。

自动下载（略）

据我所知，你可以直接使用vllm通过modelscope下载模型，如果默认用的是hugging face可以通过在终端输入

export VLLM_USE_MODELSCOPE=True

然后运行vllm serve，输入模型地址即可下载。但是我在vllm v0.6.1.post2没有成功，故采取手动下载方式，这样其实也不错，不麻烦。

手动下载（推荐）

首先安装modelscope包。由于DSW是有预装的镜像文件的，故建议使用裸py