部署和微调Qwen1.5-7B

前言

小白微调部署笔记
系统：
图形化Ubuntu20.04
主要硬件：
RTX4090 24G
使用的工具：
Miniconda、pip、git等
Ubuntu系统初始化配置：
1.安装vim编辑器

sudo apt install vim

2.安装Miniconda
自行查找教程安装

一、部署

1.创建下载路径并切换到下载路径

mkdir modes
cd modes

2.下载Qwen1.5-7B源代码

git clone https://github.com/QwenLM/Qwen.git

3.养成好习惯，使用conda创建conda环境，然后激活创建的环境

conda create -n qwen1.5 python==3.10.1
conda activate qwen1.5

4.在conda环境中安装pytorch
在安装之前建议先升级pip版本

python -m pip install --upgrade pip

然后安装pytorch（这里需要根据自己的GPU来选择合适的pytorch版本）
新开一个终端使用命令查询支持的cuda版本

nvidia-smi

然后去官网：https://pytorch.org/get-started/locally/#/选择合适的版本下载即可

pip3 install torch torchvision torchaudio

没看懂的自行百度学习
5.使用pip安装模型运行的项目依赖

pip install -r requirements.txt

6.切换至模型源代码位置

cd Qwen

7.下载魔塔社区的权重模型
在下载权重模型前需要先安装git-lfs这个工具

sudo apt-get install git-lfs

然后就可以初始化git lfs并且下载权重模型

git lfs install
git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git

8.安装web UI的依赖包

pip install -r requirements_web_demo.txt

9.完成以上操作后就可以尝试运