LLaMA-Factory私有化部署 -- PAI-DSW

LLaMA-Factory是一款比较流行的大语言模型微调框架。本文主要记录在阿里云人工智能平台PAI的DSW实例中部署LLaMA-Factory的过程，主要参考的教程是B站视频LLaMA-Factory私有化部署。

LLaMA-Factory的私有化部署与部署大模型的过程大体相同，都包括创建Python虚拟环境、下载项目文件及安装所需的依赖包，但在部署LLaMA-Factory时不需要再安装模型权重文件。

部署前提：了解LLaMA-Factory私有化部署对软硬件的要求（在进行部署之前，一定要在Github上查看项目文件，以了解其软硬件版本要求）

step1: 安装NVIDIA显卡驱动

一般云服务器上已经安装好了显卡驱动，只需使用下面的代码进行确认显卡驱动安装情况

nvidia-smi

step2: 安装Anaconda

我使用conda --version没有查看到conda的信息，应该是DSW实例中没有进行预先安装。采用下面的命令进行安装：

# 下载安装包
wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh
# 执行安装命令
bash Anaconda3-2023.09.0-Linux-x86_64.sh

默认的安装路径是/root/anaconda3。

安装完成后，采用下面的命令修改bashrc文件以配置环境变量。

vi ~/.bashrc

按 i 进入编辑模式，在bashrc文件低端添加下面的代码

# 末尾添加anaconda3所在路径
export PATH=/root/anaconda3/bin:$PATH
# 修改终端的默认 python 为 anaconda，否则会报错找不到命令activate
source /root/anaconda3/bin/activate

添加完成后，按Esc键退出编辑模式，然后输入:wq保存、退出。再在命令行使用以下代码令环境变量的修改立即生效。

source ~/.bashrc

step3: 使用Conda创建LLaMA-Factory的Python虚拟环境

需要记住的是一个项目对应一个虚拟环境。

# 创建虚拟环境
conda create --name llama_factory python==3.11
# 激活，进入虚拟环境
conda activate llama_factory

step4: 根据CUDA版本安装pytorch

使用下面的代码进行Pytorch的安装

#根据自己电脑显卡的CUDA版本要求，在Pytorch官网中找到适合自己的Pytorch
conda install pytorch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 pytorch-cuda=12.1 -c pytorch -c nvidia

安装完成后进入Python编辑器，检查GPU及Pytorch是否安装成功。

python
import torch
print(torch.cuda.is_available())
#如果输出为True，则安装成功

step5: 下载LLaMA-Factory项目文件

也可以在github中下载.zip文件，然后上传至云服务器进行解压、安装。

这里使用git安装。

#先安装git软件部
sudo apt install git
#通过git clone将项目文件下载至本地
git clone https://github.com/hiyouga/LLaMA-Factory.git

step6: 更新pip

建议在执行项目的依赖安装之前升级pip的版本，如果使用的是旧版本的pip，可能无法安装一些最新的包，或者可能无法正确解析依赖关系。

python -m pip install --upgrade pip

step7: 使用pip安装LLaMA-Factory项目代码运行的项目依赖

LLaMA-Factory的requirements.txt文件包含了项目运行所需的所有Python包及其精确版本，可使用pip一次性安装所有依赖。

# 进入LLaMA-Factory文件夹
cd LLaMA-Factory
# 安装requirements.txt
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/ 

上面是24年5月份之前的安装方法（所以上面的代码块不需要执行），在5月份之后，需要运行如下的命令安装依赖：

pip install -e ".[torch,metrics]" -i https://pypi.mirrors.ustc.edu.cn/simple

安装完成后可以使用下面的代码来进行验证：

llamafactory-cli train -h

输出如下则表示安装成功：

然后使用如下代码来进行网页端启动：

llamafactory-cli webui

这个是网页端的微调界面

其他参考：
LLaMA-Factory微调大模型——LLaMA-Factory搭建
微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖