LLM大模型指令监督微调SFT教程(二)

这篇教程带着大家一起做一次对语言大模型的指令监督微调。全程干货。
这一篇主要讲如何通过命令行完成指令监督微调。
前面还有一篇讲解如何通过可视化界面完成指令监督微调:
LLM大模型指令监督微调SFT教程(一)

概述

相关准备工作请参考上一篇,这里不再赘述。

一共需要修改3个文件:

  1. train_lora目录下的微调配置文件。设置微调时各项参数。
  2. inference目录下的运行配置文件。 设置微调完成后,各项推理验证时的参数。
  3. merge_lora目录下的融合配置文件。 推理验证通过后,需要把微调好的适配器和原来模型合并后,可以下载,并发布到运行服务器。

激活虚拟环境,配置环境变量

每次重启终端后,都要做下面几件事

conda activate llama_factory
export HF_HOME=/root/autodl-tmp/huggingface-cache/
export HF_ENDPOINT
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值