LLaMA-Factory 让大模型微调变得更简单！！

小城哇哇

于 2024-09-16 08:15:00 发布

阅读量814

点赞数 14

文章标签： llama 人工智能语言模型 ai agi LLM 微调

本文链接：https://blog.csdn.net/2401_85325397/article/details/142250536

版权

背景

如果只需要构建一份任务相关的数据，就可以轻松通过网页界面的形式进行 Fine-tuning 微调操作，那么必将大大减轻微调工作量。

今年的 ACL 2024见证了北航和北大合作的突破—论文《LLAMAFACTORY: 统一高效微调超百种语言模型》。他们打造的 LLaMA-Factory，集成了顶尖的训练效率技术，让用户能轻松通过网页界面 LLAMABOARD，无须编码，即对上百个语言模型进行个性化微调。

值得注意的是，项目在论文发表前，GitHub 上已获 13,000 Stars 和 1,600 forks，彰显了其巨大影响力。

微调界面预览（LLaMA Board）

只需一键启动 WebUI，即可接入 LLaMA Board（如下图所示），这是一个直观的操作面板，让你轻松选择数据集、自定义各种参数。体验从预览配置、保存训练设置到加载配置、启动高效训练的无缝流程。并且，界面实时展示训练损失曲线，让你随时掌握微调进度与效果。

如何准备微调环境？

体验一下此数字人的生动演示，它能聪明地理解并回应你的每一句话。目前的小遗憾是，它的思考时间约为3到4秒，但这对话结束后才给出反应。别担心，技术的进步就在眼前，随着模型优化，这一等待时间即将成为过去。

第一步、安装环境（以 Conda 环境为例）

第1步 clone LLaMA-Factory：git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
第2步 进入目录：cd LLaMA-Factory
第3步 创建基础环境：conda create -n <你的环境名称> python=3.10
第4步 进入conda环境：conda activate <你的环境名称>
第5步 安装依赖：pip install -e .[metrics] -i https://pypi.tuna.tsinghua.edu.cn/simple

【上面走完即可，下面看你需要】
如果你需要deepspeed加速，再安装一个包：pip install deepspeed==0.14.3

第二步、构造数据，如下所示


[
    {
        "id": "p1",
        "system": "你是一个销售小助手，你的任务是邀请程序员购买AI大模型课程",
        "conversations": [
            {
                "from": "user",
                "value": "你好，你是？"
            },
            {
                "from": "assistant",
                "value": "同学你好，我这边是玄姐谈AGI，想邀请你体验下我们的AI大模型课程产品"
            },
            {
                "from": "user",
                "value": "抱歉，刚买了一个年会员，还没到期。"
            },
            {
                "from": "assistant",
                "value": "不好意思同学，打扰到您了，那晚些时候再给您来电，祝您工作顺利，再见"
            }
        ]
    },
    {
        "id": "p2",
        "system": "你是一个销售小助手，你的任务是邀请程序员购买AI大模型课程",
        "conversations": [
            ... ...
        ]
    },
    ... ...
]

接下来需要完成数据配置，具体操作如下：

第三步、cd 目录，找到 dataset_info.json

cd LLaMa-Factory/data/dataset_info.json

第四步、在字典中添加自己的数据信息

"my_task": {
    "file_name": finetune_data.json # 你自己数据的路径，这里是直接存放在LLaMa-Factory/data/finetune_data.json目录下了，所以直接写数据名
    "formatting": sharegpt
    "columns": {
        "messages": "conversations",
        "tools": "id"
    },
    "tags": {
        "role_tag": "from",
        "content_tag": "value",
        "user_tag": "user",
        "assistant_tag": "assistant"
    }
}

开始微调训练

方法一、以 LLaMA Board 方式进行选参训练

这种方式前端界面友好，体验感好，具体运行如下：

CUDA_VISIBLE_DEVICES=0,1,2,3 llamafactory-cli webui

方式二、纯后台启动方式

具体运行如下：

export CUDA_VISIBLE_DEVICES=0,1,2,3
llamafactory-cli train ./sft_yaml/my_finetune.yaml (启动目录在LLaMa-Factory下)

my_finetune.yaml 文件设置如下：

### model
model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct

### method
stage: sft
do_train: true
finetuning_type: full
deepspeed: examples/deepspeed/ds_z3_config.json (加速，当显存不够，你可以使用ds_z3_offload_config.json)

### dataset
dataset: identity,alpaca_en_demo
template: llama3
cutoff_len: 1024 （最长截断，数据量如果很长，超过截断的部分就无法训练到）
max_samples: 1000
overwrite_cache: true
preprocessing_num_workers: 16

### output
output_dir: saves/llama3-8b/full/sft
logging_steps: 10
save_steps: 500
plot_loss: true
overwrite_output_dir: true

### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 2
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
fp16: true
ddp_timeout: 180000000

### eval
val_size: 0.1
per_device_eval_batch_size: 1
eval_strategy: steps
eval_steps: 500