Xtuner实战+LLM微调

Finetune 微调

在实际对话中，通常会有三种角色

• system：给定一些上下文信息，“你是一个专业的内科医生，能回答医疗领域的专业问题”
• User：用户的问题，”肿瘤如何治疗“
• Assistant：LLM的回答

增量预训练

让基座模型学习到一些垂类领域的新知识

学习时只需要学习知识，“珠穆朗玛峰是世界第一高峰”，并不需要问题（User）和系统提示（System），这些留空。计算损失只计算output

指令跟随微调

指令跟随微调，输入数据需要包含System、User、Assistant。计算损失只计算output

LoRA& QLoRA

XTuner

• 支持工具类模型的对话
• 支持从Huggingface和modelscope加载模型
• 原始问答对生成多种不同LLM的格式化问答对
• 多数据样本拼接，增强并行性

Tmux

用户与计算机的交互，称为一次会话（session）。会话的一个特点是，将窗口和其中运行的进程绑定，窗口关闭，则进程关闭。Tmux就是将窗口和其中的进程进行解绑。

# Ubuntu 或 Debian
$ sudo apt-get install tmux

# CentOS 或 Fedora
$ sudo yum install tmux

微调

安装环境

# 1.创建虚拟环境
/root/share/install_conda_env_internlm_base.sh xtuner0.1.9
# 2.进入虚拟环境
conda activate xtuner0.1.9
cd ~
mkdir xtuner019 && cd xtuner019
# 3.拉取Xtuner源码
git clone -b v0.1.9  https://github.com/InternLM/xtuner
# 4.从源码安装Xtuner
cd xtuner
pip install -e '.[all]'

配置文件

# 创建一个微调 oasst1 数据集的工作路径，进入
mkdir ~/ft-oasst1 && cd ~/ft-oasst1
# 列出所有内置配置
xtuner list-cfg
cd ~/ft-oasst1
#拷贝一个配置文件到当前目录
xtuner copy-cfg internlm_chat_7b_qlora_oasst1_e3 .

模型下载

数据集

cd ~/ft-oasst1
# ...-guanaco 后面有个空格和英文句号啊
cp -r /root/share/temp/datasets/openassistant-guanaco .

修改配置文件

训练

# 单卡
## 用刚才改好的config文件训练
xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py

# 多卡
NPROC_PER_NODE=${GPU_NUM} xtuner train ./internlm_chat_7b_qlora_oasst1_e3_copy.py

# 若要开启 deepspeed 加速，增加 --deepspeed deepspeed_zero2 即可

进阶任务