这篇教程带着大家一起做一次对语言大模型的指令监督微调。全程干货。
这一篇主要讲如何通过命令行完成指令监督微调。
前面还有一篇讲解如何通过可视化界面完成指令监督微调:
LLM大模型指令监督微调SFT教程(一)
概述
相关准备工作请参考上一篇,这里不再赘述。
一共需要修改3个文件:
- train_lora目录下的微调配置文件。设置微调时各项参数。
- inference目录下的运行配置文件。 设置微调完成后,各项推理验证时的参数。
- merge_lora目录下的融合配置文件。 推理验证通过后,需要把微调好的适配器和原来模型合并后,可以下载,并发布到运行服务器。
激活虚拟环境,配置环境变量
每次重启终端后,都要做下面几件事
conda activate llama_factory
export HF_HOME=/root/autodl-tmp/huggingface-cache/
export HF_ENDPOINT