Qwen微调-环境配置-week9

在这里插入图片描述](https://img-blog.csdnimg.cn/direct/213a0fb70a2e430684155bbd06a7ff36.png#pic_center)

Qwen1.5-4B 微调-环境安装

对Qwen1.5-4B的微调我采用LoRA微调然后合并模型的方式，之后将微调后的模型使用llama-factory进行部署(API,或者webui的方式均可)

首先，我们应当在系统上安装好llama-factory框架

推荐采用conda工具隔离机器其他python环境进行训练

conda 安装

1.下载，直接在官网下载即可

Download Anaconda Distribution | Anaconda

2.下载完成后使用exe安装即可，只需注意尽量不要安装到需要赋予空间的盘即可

3.配置环境变量

如果有使用自动配置变量那么就验证是否已经安装完成

conda --version

出现版本信息即安装成功

否则手动配置

首先进入计算机系统属性界面，然后按照图片指示操作即可

之后按照前文所述方式测试即可

4.完成以上步骤即安装完成

llama-factory安装

1.环境创建

在命令行中键入如下指令创建python环境

conda create -n llama_factorypython=3.10 -y

创建成功后切换到新环境

conda activate llama_factory

安装cuda pytorch等核心工具

conda install pytorch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 pytorch-cuda=11.8 -c pytorch -c nvidia
pip3 install  torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install llmtuner

2.模型下载

这次我采用将模型下载到本地的方式进行微调

创建models目录

进入huggingface model页面找到Qwen1.5-4B模型，下载所有文件到models目录

3.安装llama-factory

git clone https://github.com/hiyouga/LLaMA-Factory.git

安装完成后进入目录

cd LLaMA-Factory

安装环境依赖

pip install -e .[metrics,modelscope,qwen] 
pip install -r requirements.txt --index-url https://mirrors.huaweicloud.com/repository/pypi/simple

至此，shell中运行命令

llamafactory-cli webui

运行成功即安装完成

d.com/repository/pypi/simple

至此，shell中运行命令

```shell
llamafactory-cli webui

运行成功即安装完成