视频教程:XTuner 微调 LLM:1.8B、多模态、Agent
文字教程:XTuner 微调 LLM:1.8B、多模态、Agent
作业来源:https://github.com/InternLM/Tutorial/blob/camp2/xtuner/homework.md
XTuner 微调个人小助手认知
1. 环境安装
2.准备工作
2.1 数据准备
2.2 模型准备
2.3 配置文件选择
3. 配置文件修改
4. 模型训练
4.1 训练
准备好了配置文件后,只需要将使用 xtuner train
指令即可开始训练。
可以通过添加 --work-dir
指定特定的文件保存位置,比如说就保存在 /root/ft/train
路径下。假如不添加的话模型训练的过程文件将默认保存在 ./work_dirs/internlm2_1_8b_qlora_alpaca_e3_copy
的位置,就比如说我是在 /root/ft/train
的路径下输入该指令,那么我的文件保存的位置就是在 /root/ft/train/work_dirs/internlm2_1_8b_qlora_alpaca_e3_copy
的位置下。