diffusers 再次继续训练LoRA时,如何导入已有的LoRA权重

我们通常会有微调扩散模型的需求,比如对LoRA进行训练来实现对Stable diffusion模型的微调。

但是有时候我们需要复用先前训练好的LoRA参数来继续进行训练。此时并不需要我们重新使用API向U-Net网络加载LoRA对应的adapter参数权重,我们可以直接通过diffusers的LoRA训练脚本的输入参数来实现断点处继续训练的需求。具体做法请看下文:

  1. 首先确保我们使用的训练脚本是相同的:./diffusers/examples/text_to_image/train_text_to_image_lora.py;
  2. 其次在您的accelerate launch指令部分新增如下参数:
    --resume_from_checkpoint="checkpoint-750"
    
    checkpoint-750是我先前训练时在第750 step时刻存储的相关文件,您需要在您上次训练的output文件夹下找到这个文件夹;当然,您的step时刻可以和我的不一致。
  3. 如果您重新继续训练时使用的output文件与先前的output不一致,您需要手动把先前输出的checkpoint-750文件夹整体复制到新的output目录下,diffusers会在这里读取存储的权重信息;如果两次训练的output文件相同,可以不用管它。
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值