vLLM部署Qwen1.5-32B-Chat
部署环境
操作系统:Ubuntu 20.04.2 LTS
Docker:v24.0.0
Docker Compose:v2.17.3
GPU:NVIDIA A100-SXM4-80GB
Nvidia Driver Version: 535.154.05
CUDA Version: 12.2
部署过程
模型文件下载
下载地址:通义千问1.5-32B-对话 · 模型库 (modelscope.cn)
下载方法:
- SDK下载
#模型下载 from modelscope import snapshot_download model_dir = snapshot_download('qwen/Qwen1.5-32B-Chat', cache_dir='/path/to/your/model/dir/') # cache_dir指定模型保存目录
- Git下载
git clone https://www.modelscope.cn/qwen/Qwen1.5-32B-Chat.git
docker镜像构建
克隆Qwen1.5仓库:
git clone https://github.com/QwenLM/Qwen1.5.git
构建镜像: