windows server独立部署Qwen2.5-vl-7B

服务器配置信息

CPU：64G

GPU：48G（RTX 4090）

一、使用conda下载模型 Qwen2.5-VL-7B-Instruct

conda下载

conda create --name qwen python=3.11

conda activate qwen

魔塔社区下载模型

 pip install modelscope

modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir ./Qwen2___5-VL-7B-Instruct 

二、下载项目代码及相关安装

git clone https://github.com/QwenLM/Qwen2.5-VL

cd Qwen2.5-VL

pip install git+https://github.com/huggingface/transformers accelerate

pip install qwen-vl-utils[decord]==0.0.8

三、下载GPU运行的PyTorch

pip uninstall torch torchvision torchaudio

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

四、搭建WebUI

git下来的Qwen2.5-VL目录下有个web_demo_mm.py文件，打开该文件，有两处需要修改：
第一处：修改模型加载的路径：

DEFAULT_CKPT_PATH = ‘E:\qwen2.5-vl\qwen2.5-vl-7B\Qwen2___5-VL-7B-Instruct’ （根据实际情况而定）

五、必要依赖安装

pip install gradio

pip install torchvision

六、启动命令

python web_demo_mm.py