在linux服务器上部署通义千问国产的多模态大模型

这个步骤很简单 一步一步来就能部署！

1.新建一个虚拟环境

conda create -n qwen python=3.9

2.将github上的qwen模型代码，下载到服务器。链接：代码地址
3.cd 到Qwen-VL-master文件夹，激活环境。
4.安装项目运行需要的依赖。

pip install -r requirements.txt

5.安装pytorch，从官网安装，我安装的torch版本是2.2.1，cuda是12.1版本的，这个大家可以根据自己的显卡情况安装,用torch官网给的命令安装。

pip3 install torch torchvision torchaudio

6.安装demo的依赖。

pip install -r requirements_web_demo.txt

7.运行python web_demo_mm.py，这时会出来一个报错，如下图。

8.根据报错信息的最后一行，他说在/root/.cache/modelscope/hub/qwen/Qwen-VL-Chat这个目录下没有找到模型文件，我们需要到huggingface上去下载Qwen-VL-Chat这个模型到报错的目录即可。
9.重新运行python web_demo_mm.py，如果运行成功则会展示下面的界面。
10.因为这是在服务器上部署的所以不能用http://127.0.0.1:8000,这个本地网址访问，我们在运行的时候可以用参数指定服务器的访问端口和设置允许任何 IP 地址访问该服务。python web_demo_mm.py --server-port 7860 --server-name 0.0.0.0，自己部署的时候需要根据自己服务器的情况，设定端口号，我的服务器端口号是7860.
参数解释：–server-port 7860：这是一个命令行参数，用于指定服务器的端口号。
–server-name 0.0.0.0：0.0.0.0 表示服务器将绑定到所有可用的网络接口上，允许从任何 IP 地址访问该服务。