LLama-Factory使用教程

本文是github项目llama-factory的使用教程

注意，最新的llama-factory的github中训练模型中，涉及到本文中的操作全部使用了.yaml配置。
新的.yaml的方式很简洁但不太直观，本质上是一样的。新的readme中的.yaml文件等于下文中的bash指令

PS: 大模型基础和进阶付费课程（自己讲的）：《AIGC大模型理论与工业落地实战》-CSDN学院 或者《AIGC大模型理论与工业落地实战》-网易云课堂。感谢支持！

一，数据准备和模型训练

step1-下载项目：

​ 从github中克隆LLaMa-Factory项目到本地

step2-准备数据：

​ 将原始LLaMA-Factory/data/文件夹下的dataset_info.json，增加本地的数据。注意，本地数据只能改成LLama-Factory接受的形式，即本地数据只能支持”promtp/input/output“这种对话的格式，不支持传统的文本分类/实体抽取/关系抽取等等schema数据，如果需要，请想办法改成对话形式的数据。

​ 你需要参考其中的一个文件和它的配置，例如：alpaca_gpt4_data_zh.json，训练和验证数据同样改成这种格式，并在dataset_info.json中新增一个你自己的字典：

{
  "alpaca_en": {
    "file_name": "alpaca_data_en_52k.json",
    "file_sha1": "607f94a7f581341e59685aef32f531095232cf23"
},  
...

"your_train": {
    "file_name": "/path/to/your/train.json",
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "response": "output"
    }
  },
...

​ 其中的key，your_train，将在训练/测试的shell命令中使用

step3-模型训练:

​ 数据准备好之后，编写shell脚本训练模型，以mixtral为例根目录下新建run_mixtral.sh

需要改动的主要是：model_name_or_path，dataset，output_dir；和其他可选的改动信息，例如save_steps，per_device_train_batch_size等等。

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --stage sft \
    --do_train \
    --model_name_or_path /path/to/your/Mixtral-8x7B-Instruct-v0.1 \
    --dataset my_train \
    --template default \
    --finetuning_type lora \
    --lora_target q_proj,v_proj \
    --output_dir ./output/mixtral_train \
    --overwrite_output_dir \
    --overwrite_cache \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 200 \
    --learning_rate 5e-5 \
    --num_train_epochs 1.0 \
    --plot_loss \
    --quantization_bit 4 \
    --fp16

step4-模型融合

​ 模型融合的意义在于合并训练后的lora权重，保持参数和刚从huggingface中下载的一致，以便更加方便地适配一些推理和部署框架

​ 基本流程/原理：将微调之后的lora参数，融合到原始模型参数中，以mixtral为例新建：LLama-Factory/run_mixtral_fusion.sh：

python src/export_model.py \
    --model_name_or_path path_to_huggingface_model \
    --adapter_name_or_path path_to_mixtral_checkpoint \
    --template default \
    --finetuning_type lora \
    --export_dir path_to_your_defined_export_dir \
    --export_size 2 \
    --export_legacy_format False

step5-模型推理

​ 模型推理即模型在新的验证集上的推理和验证过程

​ 指令和训练的基本一致，只是差别几个参数：

        1.增加了do_predict，2.数据集改成一个新的eval数据集

​ LLama-Factory/runs/run_mixtral_predict.sh

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --stage sft \
    --do_predict \
    --model_name_or_path /path/to/huggingface/Mixtral-8x7B-Instruct-v0.1 \
    --adapter_name_or_path /path/to/mixtral_output/checkpoint-200 \
    --dataset my_eval \
    --template default \
    --finetuning_type lora \
    --output_dir ./output/mixtral_predict \
    --per_device_eval_batch_size 4 \
    --predict_with_generate \
    --quantization_bit 4 \
    --fp16

step6-API接口部署

部署接口的作用是可以让你把接口开放出去给到外部调用

CUDA_VISIBLE_DEVICES=0 API_PORT=8000 python src/api_demo.py \
    --model_name_or_path path_to_llama_model \
    --adapter_name_or_path path_to_checkpoint \
    --template default \
    --finetuning_type lora