在学习插件之前我们先简单了解一下LoRA模型,LoRA模型是现在非常流行的小模型,区别于大模型,它可以用更小的体积,更快速更低成本的训练来满足我们对图片风格的追求,可以让我们轻松画出特定的人物,物品,特殊的笔触和特殊的画风或风格,属于一种特殊训练的子集。
训练LoRA的过程简单理解就是在大模型的基础上额外增加一些训练层,如外貌特征、衣服特征和环境特征等。LoRA 内部其实是可以细分为 17 个 Blocks(层),每一个 Block(层) 都有它的一些作用,例如某一个 Block 是控制脸部,另一个 Block 是控制姿态等等。就像这样:
可以看出,其实LoRA的工作流程里面的17层可以分为3个部分:BASE(开关层)、IN(输入层)、MID(中间层)和OUT(输出层),权重值0就是完全不生效,1就是完全生效,那么我们就可以通过调整这17个0-1的数字来对LoRA模型进行微调了。*理解LoRA的分层概念和每层的作用对我们以后训练LoRA、调试LoRA会有非常大的帮助!*
对于很多刚学习AI绘画的小伙伴而言,想要提升、学习新技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。
如果你苦于没有一份Lora模型训练学习系统完整的学习资料,这份网易的《Stable Diffusion LoRA模型训练指南》电子书,尽管拿去好了。
包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习,也可以分享给身边好友一起学习。
由于内容过多,下面以截图展示目录及部分内容,完整文档领取方式点击下方微信卡片,即可免费获取!
篇幅有限,这里就不一一展示了,有需要的朋友可以点击下方的卡片进行领取!
LoRA Block Weight(LoRa区块权重配置)插件就是为我们提供了一个可以轻松调整LoRA各**Block(层)权重数值的插件。
什么时候使用LoRA Block Weight?
有时候LoRA效果很好但是有一些服装或者背景想要更改,加上提示词发现效果不好,降低LoRA权重又使图片不符合预期,分层控制就发挥大作用了,把服装权重降到0,提示词就可轻松换装,对于不同LoRA叠加使用也可以分层控制,比如服饰,背景,脸分别采用不同LoRA模型,分层控制不同LoRA作用的层,就不会相互干扰崩坏啦。又或者是你想微调每一部分(人脸服饰等)的作用效果。
插件安装
打开WebUI,拓展页面,从网址安装,然后输入一下网址,点击安装:
https://github.com/hako-mikan/sd-webui-lora-block-weight
界面和功能
安装好插件后,我们就可以在插件中找到LoRA Block Weight:
使用方法
启用插件后,在正向提示词输入框中添加你需要的LoRA,通过在强度值后键入 “:lbw=” 来输入权重或标识符。可以在权重设置中编辑标识符。如下:
<lora:"lora name":1:lbw=1,1,1,0,0.5,0.5,0,0,0,0,0,0,0,0,0,0,0>.直接在提示词中修改LoRA中17层的权重值<lyco:"lora name":1:1:lbw=OUTS> 使用标识符(预设)来设置权重,OUTS代表仅上色风格生效
例如:我在二次元通用大模型中添加天气之子的LoRA,并开启LoRA Block Weight,在提示词中直接修改各Block(层)的权重(将最后5层改为0,其他为1,让上色风格不生效):
<lora:20230919-1695103949936:1:lbw=1,1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,0>
我们使用预设好的标识符试一下哦:
Start、Stop 步骤:
可以使用“start=步数”来指定LoRA开始生效的步数,使用“stop=步数”来指定LoRA停止生效的步数,我们就可以控制LoRA产生的影响:
<lora:"lora name":lbw=ALL:start=10>从第10步开始生效<lora:"lora name":lbw=ALL:stop=10>到第10步停止生效<lora:"lora name":lbw=ALL:step=5-10>5-10步生效
随机值(随机):
使用 R 可以让权重在 0~1 之间的3位小数随机,使用 U 则是 -1.5~1.5之间的3位小数随机,例如:
<lora:20230919-1695103949936:1:lbw=1,1,1,1,1,1,1,1,R,R,R,R,R,R,R,R,R>
随机后的值:
特殊值(动态):
变量 X。比如我们将 X,X,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0 设置为预设BG,那么我在调用BG标识符的时候就可以快速设置X的值,比如:
<lora:20230919-1695103949936:1:lbw=BG:0.8> BG预设里面的X=0.8
XYZ绘图功能
比如我们想改变IN05到OUT05层的值来对比效果:
提示词中加入lbw=XYZ,点击生成:
<lora:20230919-1695103949936:0.5:lbw=XYZ>
权重设置
权重设置可以让我们修改预设的标识符,也可以新增标识符:
【Stable Diffusion安装包(含常用插件、模型)】
【AI绘画12000+提示词库】
【AI绘画800+骨骼姿势图】
【AI绘画视频合集】
这份完整版的stable diffusion资料我已经打包好,点击下方卡片即可免费领取!
最后,大家有什么Stable Diffusion学习的疑问在评论区留言吧!