课程地址:Tutorial/docs/L1/XTuner at camp3 · InternLM/Tutorial (github.com)
1 安装xtuner和模型准备
2 快速使用
2.1 微调前模型对话
2.2 指令跟谁微调
2.2.1 修改数据生成脚本
2.2.2 运行脚本,生成json格式数据集
2.2.3 修改config文件,加载本地模型权重和本地微调数据集
2.2.4 启动训练脚本开始训练
2.2.5 训练完后转换adapter权重为hf格式,并合并到原权重中
2.2.6 修改运行脚本,加载新权重文件
2.2.7 重新打开交互窗口,验证微调是否成功