Qwen部署

1.Windows安装CUDA和cuDNN

官方教程

CUDA： Installation Guide Windows :: CUDA Toolkit Documentation

cuDNN： Installation Guide :: NVIDIA Deep Learning cuDNN Documentation

1.下载并安装CUDA

1.查看要版本

2.下载CUDA

下载连接：  kCUDA Toolkit Archive | NVIDIA Developer

选择安装版本

选择安装方式

3.安装CUDA

安装cuda时，第一次会让设置临时解压目录，第二次会让设置安装目录；

临时解压路径，建议默认即可，也可以自定义。安装结束后，临时解压文件夹会自动删除；

安装目录，建议默认即可；

注意：临时解压目录千万不要和cuda的安装路径设置成一样的，否则安装结束，会找不到安装目录的！！！

1)选择自定义安装

2)安装完成后，配置cuda的环境变量；

3)命令行中，测试是否安装成功；

双击“exe文件”，选择下载路径（推荐默认路径）

同意并继续

自定义安装，精简版本是下载好所有组件，并且会覆盖原有驱动，所以在这里推荐自定义下载

如果你是第一次安装，尽量全选如果你是第n次安装，尽量只选择第一个，不然会出现错误

点击下一步即可

查看环境变量

点击设置-->搜索高级系统设置-->查看环境变量

如果没有需要自己添加

验证是否安装成功

nvcc -V

2.下载并安装cuDNN

1.cuDNN下载

cuDNN下载地址： https://developer.nvidia.com/rdp/cudnn-download（需要注册账号）

查看与CUDA适配的版本 cuDNN Archive | NVIDIA Developer根据CUDA版本选择cuDNN

2.cuDNN配置

·

解压到CUDA的安装目录内

添加环境变量

登录后复制

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3\lib
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3\include
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3\libnvvp

• 1.
• 2.
• 3.
• 4.

配置完成后，验证是否配置成功，主要使用CUDA内置的deviceQuery.exe 和 bandwidthTest.exe

首先win+R启动cmd，cd到安装目录下的 …\extras\demo_suite,然后分别执行bandwidthTest.exe和deviceQuery.exe（进到目录后需要直接输“bandwidthTest.exe”和“deviceQuery.exe”）,应该得到下图:

2.创建虚拟环境

登录后复制

#创建虚拟环境
conda create -n qwen python=3.10.12
#启动虚拟环境
conda activate qwen
#创建Qwen文件夹
mkdir Qwen
cd Qwen

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.

3.安装依赖

登录后复制

#升级pip
pip install --upgrade pip
#安装pytorch 根据cuda版本选择pytorch版本
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

• 1.
• 2.
• 3.
• 4.

登录后复制

#查看pytorch是否安装成功
#进入命令行模式
python
#执行代码
>>> import torch
>>> print(torch.__version__)
1.12.0+cu102

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.

登录后复制

#安装modelscope和transformers
pip install modelscope transformers_stream_generator

• 1.
• 2.

4.初始化

登录后复制

#拉取代码
git clone https://github.com/QwenLM/Qwen.git
#进入项目文件夹
cd Qwen
#安装依赖
pip install -r requirements.txt
pip install -r requirements_web_demo.txt
#拉取模型
git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git
#修改web_demo.py
DEFAULT_CKPT_PATH = 'Qwen/Qwen-7B-Chat'修改为DEFAULT_CKPT_PATH = 'Qwen-7B-Chat'

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.

登录后复制

#如果要用1.5的模型需要升级transformers
pip install transformers>=4.37.0

• 1.
• 2.

5.启动

登录后复制

#启动web页面
python web_demo.py

• 1.
• 2.

如果出现CUDA错误，修改 web_demo.py

登录后复制

#添加代码
import os
os.environ['CUDA_LAUNCH_BLOCKING'] = '1'

• 1.
• 2.
• 3.

原创作者: u_16872606 转载于: https://blog.51cto.com/u_16872606/11276231