StableDiffusion学习笔记-LoRA Block Weight插件(LORA分层控制,微调)

在学习插件之前我们先简单了解一下LoRA模型,LoRA模型是现在非常流行的小模型,区别于大模型,它可以用更小的体积,更快速更低成本的训练来满足我们对图片风格的追求,可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。

训练LoRA的过程简单理解就是在大模型的基础上额外增加一些训练层,如外貌特征、衣服特征和环境特征等。LoRA 内部其实是可以细分为 17 个 Blocks(层),每一个 Block(层) 都有它的一些作用,例如某一个 Block 是控制脸部,另一个 Block 是控制姿态等等。就像这样:

图片

图片

可以看出,其实LoRA的工作流程里面的17层可以分为3个部分:BASE(开关层)、IN(输入层)、MID(中间层)和OUT(输出层),权重值0就是完全不生效,1就是完全生效,那么我们就可以通过调整这17个0-1的数字来对LoRA模型进行微调了。*理解LoRA的分层概念和每层的作用对我们以后训练LoRA、调试LoRA会有非常大的帮助!*
对于很多刚学习AI绘画的小伙伴而言,想要提升、学习新技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。

如果你苦于没有一份Lora模型训练学习系统完整的学习资料,这份网易的《Stable Diffusion LoRA模型训练指南》电子书,尽管拿去好了。

包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习,也可以分享给身边好友一起学习。

由于内容过多,下面以截图展示目录及部分内容,完整文档领取方式点击下方微信卡片,即可免费获取!

img

img

img

篇幅有限,这里就不一一展示了,有需要的朋友可以点击下方的卡片进行领取!
LoRA Block Weight(LoRa区块权重配置)插件就是为我们提供了一个可以轻松调整LoRA各**Block(层)权重数值的插件。

在这里插入图片描述

什么时候使用LoRA Block Weight?

有时候LoRA效果很好但是有一些服装或者背景想要更改,加上提示词发现效果不好,降低LoRA权重又使图片不符合预期,分层控制就发挥大作用了,把服装权重降到0,提示词就可轻松换装,对于不同LoRA叠加使用也可以分层控制,比如服饰,背景,脸分别采用不同LoRA模型,分层控制不同LoRA作用的层,就不会相互干扰崩坏啦。又或者是你想微调每一部分(人脸服饰等)的作用效果。

插件安装

打开WebUI,拓展页面,从网址安装,然后输入一下网址,点击安装:

https://github.com/hako-mikan/sd-webui-lora-block-weight

界面和功能
安装好插件后,我们就可以在插件中找到LoRA Block Weight:

图片

使用方法

启用插件后,在正向提示词输入框中添加你需要的LoRA,通过在强度值后键入 “:lbw=” 来输入权重或标识符。可以在权重设置中编辑标识符。如下:

<lora:"lora name":1:lbw=1,1,1,0,0.5,0.5,0,0,0,0,0,0,0,0,0,0,0>.直接在提示词中修改LoRA中17层的权重值<lyco:"lora name":1:1:lbw=OUTS> 使用标识符(预设)来设置权重,OUTS代表仅上色风格生效

例如:我在二次元通用大模型中添加天气之子的LoRA,并开启LoRA Block Weight,在提示词中直接修改各Block(层)的权重(将最后5层改为0,其他为1,让上色风格不生效):

<lora:20230919-1695103949936:1:lbw=1,1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,0>

图片

我们使用预设好的标识符试一下哦:

图片

Start、Stop 步骤:

可以使用“start=步数”来指定LoRA开始生效的步数,使用“stop=步数”来指定LoRA停止生效的步数,我们就可以控制LoRA产生的影响:

<lora:"lora name":lbw=ALL:start=10>从第10步开始生效<lora:"lora name":lbw=ALL:stop=10>到第10步停止生效<lora:"lora name":lbw=ALL:step=5-10>5-10步生效

随机值(随机):

使用 R 可以让权重在 0~1 之间的3位小数随机,使用 U 则是 -1.5~1.5之间的3位小数随机,例如:

<lora:20230919-1695103949936:1:lbw=1,1,1,1,1,1,1,1,R,R,R,R,R,R,R,R,R>

随机后的值:

图片

特殊值(动态):

变量 X。比如我们将 X,X,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0 设置为预设BG,那么我在调用BG标识符的时候就可以快速设置X的值,比如:

<lora:20230919-1695103949936:1:lbw=BG:0.8>  BG预设里面的X=0.8

XYZ绘图功能

比如我们想改变IN05到OUT05层的值来对比效果:

图片

提示词中加入lbw=XYZ,点击生成:

<lora:20230919-1695103949936:0.5:lbw=XYZ>

图片

权重设置

权重设置可以让我们修改预设的标识符,也可以新增标识符:

图片

【Stable Diffusion安装包(含常用插件、模型)】

img

【AI绘画12000+提示词库】

img

【AI绘画800+骨骼姿势图】

img

【AI绘画视频合集】

img

这份完整版的stable diffusion资料我已经打包好,点击下方卡片即可免费领取!
在这里插入图片描述
最后,大家有什么Stable Diffusion学习的疑问在评论区留言吧!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值