LoRA模型权威教程:使用方法和训练步骤详解

学习Stable Diffusion时,LoRA模型是一个重要概念。简单来说,LoRA是一种让AI模型学习新风格的轻量级方法,它只用很小的改动就能让模型掌握特定画风。相比传统方法,LoRA有三大好处:节省电脑资源、不影响原模型功能、可以组合多种风格。下面我们来讲解LoRA的原理和实际用法。

img

什么是LoRA模型?

LoRA模型全称是:Low-Rank Adaptation of Large Language Models,**可以理解为Stable-Diffusion中的一个插件,仅需要少量的数据就可以进行训练的一种模型。**在生成图片时,LoRA模型会与大模型结合使用,从而实现对输出图片结果的调整。

我们举个更容易懂的例子:**大模型就像素颜的人,LoRA模型就如同进行了化妆、整容或cosplay,但内在还在大模型的底子。**当然LoRA模型不仅仅限制于人物,场景、动漫、风格都有相对应的LoRA。

LoRA的下载安装

LoRA和大模型一样需要我们自己去下载,常用的网站就是C站。

img

打开网站,点击筛选-点击需要的LoRA-点击Download即可下载。

img

在下载页面我们还可以看到Trigger Words这一项,这个是LoRA的触发词。

下载完成后,会得到 Eula.safetensors 文件,将其拷贝到 LoRA目录。

img

下一步下载安装LoRA模型对应的 chekpoint 模型:

在右侧可以看到LoRA模型对应的chekpoint 模型,直接点击chekpoint 下方的“下载”按钮进行下载。

img

下载完成, 将文件拷贝到Stable-diffusion 目录,安装完成后,重启 Stable diffusion 使其生效。

LoRA的使用

我们打开生图页面,选择大模型和其他参数,然后点击模型中的LoRA,SD会自动把LoRA添加到提示词内。

img

设置参数时,LoRA的权重数值不能超过1

下面是我们生成出来的一组图。可以看到主角的裙子基本是锁定的,这个就是LoRA的功劳。

img

我们还可以尝试多个LoRA结合使用。

img

在这段提示词中我们使用了两个不同的LoRA。

多个Lora的权重数值之和也不能大于1。

生成一下看下效果,这两个提示词没有变化。

img

训练属于自己的LoRA

虽然使用成型的LoRA很方便,但通常我们在生图的,可能很难找到完全匹配的,此时就需要我们自己动手训练了,毕竟自己动手丰衣足食,几个步骤简单为大家讲解如何训练~

1、配置要求和训练环境

电脑配置:N卡 gpu 6G以上;训练环境:除了直接用训练脚本直接进行操作外 可以使用不同的训练图形化操作界面方便操作 可以用秋叶LORA模型训练器、朱尼酱的赛博丹炉,kohya-ss gui选一个即可,电脑配置不够用 可以选择 AutoDL、Google Colab青椒云桌面、揽睿星舟等云平台。

2、训练步骤

  • 训练数据集准备:对图像进行预处理包括分类、裁剪大小、打标签优
  • 训练参数调节:调整核心参数配置,包括:学习次数(repeat)、循环(epoch)、并行数量(Batch_size)、学习率(Unet_lr)、学习精细度(Network Dimension)、优化器(Optimazer)

**3、模型训练:**参数调整完毕后,根据图片数量和参数设置训练时长一般20分钟以上。

**4、模型测试:**训练完毕后得到的模型通过xyz 脚本测试每个模型的效果。后续小编将详细介绍各个参数的作用和lora训练的一些注意点,大家可以关注一下~

img

以上就是LoRA 的基础内容啦~
这份完整版的SD整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费在这里插入图片描述

如何训练LorA

对于很多刚学习AI绘画的小伙伴而言,想要提升、学习新技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。

如果你苦于没有一份Lora模型训练学习系统完整的学习资料,这份网易的《Stable Diffusion LoRA模型训练指南》电子书,尽管拿去好了。

包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习,也可以分享给身边好友一起学习。

由于内容过多,下面以截图展示目录及部分内容,完整文档领取方式点击下方微信卡片,即可免费获取!在这里插入图片描述

img

img

img

篇幅有限,这里就不一一展示了,有需要的朋友可以点击下方的卡片进行领取!在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值