通义千问开源大模型部署教程-小白也能懂

1、基础环境

        1.1 python3安装

           准备好：python 3.10 (不要用3.8 ，有bug)           https://www.python.org/ftp/python/3.10.9/python-3.10.9-amd64.exe

           安装完了之后，观察是否添加到path环境变量里了，如果安装的时候忘记勾选自动添加到环境变量，就自己加到path里。

               

  1.2 pytorch 安装

       pytorch  安装需要根据自己是否有显卡选择不同的命令安装，官网通过选择你的模式后，会自动生成命令，传送门：PyTorch

      

    如果cpu玩的话，记得选择CPU，安装命令是不同的，执行安装命令就完了。

  1.3 配置镜像

    配置这个镜像：hf-mirror.com - Huggingface 镜像站  

     

pip install -U huggingface_hub

  然后配置环境变量，HF_ENDPOINT=https://hf-mirror.com

 

 1.4 安装transformers 32版本

     

pip install transformers==4.32.0

1.5 安装CUDA 11.4 

   我的显卡还没回来，等我回来了我补充这里。

2、通义千问部署

       git clone https://github.com/QwenLM/Qwen

      然后执行安装依赖的命令,

pip install -r requirements.txt

      上面的命令不会安装web页面所需要的依赖，如果需要web ui玩还需要执行下面这个

pip install -r requirements_web_demo.txt

     最后运行

 

python cli_demo.py
//或者
python web_demo.py

  如果是CPU跑模型，7B的肯定不行，要用1.8B的 需要修改模型名称

  

Qwen/Qwen-1_8B-Chat  改成这个，不是Qwen/Qwen-1.8B-Chat哦，会提示找不到模型的。

 运行的时候多给个参数即可，web页面或者命令行都支持这个参数。

python  cli_demo.py --cpu-only