StableDiffusion学习笔记-LoRA Block Weight插件（LORA分层控制，微调）

在学习插件之前我们先简单了解一下LoRA模型，LoRA模型是现在非常流行的小模型，区别于大模型，它可以用更小的体积，更快速更低成本的训练来满足我们对图片风格的追求，可以让我们轻松画出特定的人物，物品，特殊的笔触和特殊的画风或风格，属于一种特殊训练的子集。

训练LoRA的过程简单理解就是在大模型的基础上额外增加一些训练层，如外貌特征、衣服特征和环境特征等。LoRA 内部其实是可以细分为 17 个 Blocks（层），每一个 Block（层） 都有它的一些作用，例如某一个 Block 是控制脸部，另一个 Block 是控制姿态等等。就像这样：

可以看出，其实LoRA的工作流程里面的17层可以分为3个部分：BASE（开关层）、IN（输入层）、MID（中间层）和OUT（输出层），权重值0就是完全不生效，1就是完全生效，那么我们就可以通过调整这17个0-1的数字来对LoRA模型进行微调了。*理解LoRA的分层概念和每层的作用对我们以后训练LoRA、调试LoRA会有非常大的帮助！*

LoRA Block Weight（LoRa区块权重配置）插件就是为我们提供了一个可以轻松调整LoRA各**Block（层）权重数值的插件。

**

什么时候使用LoRA Block Weight？

有时候LoRA效果很好但是有一些服装或者背景想要更改，加上提示词发现效果不好，降低LoRA权重又使图片不符合预期，分层控制就发挥大作用了，把服装权重降到0，提示词就可轻松换装，对于不同LoRA叠加使用也可以分层控制，比如服饰，背景，脸分别采用不同LoRA模型，分层控制不同LoRA作用的层，就不会相互干扰崩坏啦。又或者是你想微调每一部分（人脸服饰等）的作用效果。

插件安装

打开WebUI，拓展页面，从网址安装，然后输入一下网址，点击安装：

https://github.com/hako-mikan/sd-webui-lora-block-weight

界面和功能

安装好插件后，我们就可以在插件中找到LoRA Block Weight：

使用方法

启用插件后，在正向提示词输入框中添加你需要的LoRA，通过在强度值后键入 “:lbw=” 来输入权重或标识符。可以在权重设置中编辑标识符。如下：

<lora:"lora name":1:lbw=1,1,1,0,0.5,0.5,0,0,0,0,0,0,0,0,0,0,0>.直接在提示词中修改LoRA中17层的权重值<lyco:"lora name":1:1:lbw=OUTS> 使用标识符（预设）来设置权重，OUTS代表仅上色风格生效

例如：我在二次元通用大模型中添加天气之子的LoRA，并开启LoRA Block Weight，在提示词中直接修改各Block（层）的权重（将最后5层改为0，其他为1，让上色风格不生效）：

<lora:20230919-1695103949936:1:lbw=1,1,1,1,1,1,1,1,1,1,0,0,0,0,0,0,0>

我们使用预设好的标识符试一下哦：

Start、Stop 步骤：

可以使用“start=步数”来指定LoRA开始生效的步数，使用“stop=步数”来指定LoRA停止生效的步数，我们就可以控制LoRA产生的影响：

<lora:"lora name":lbw=ALL:start=10>从第10步开始生效<lora:"lora name":lbw=ALL:stop=10>到第10步停止生效<lora:"lora name":lbw=ALL:step=5-10>5-10步生效

随机值（随机）：

使用 R 可以让权重在 0～1 之间的3位小数随机，使用 U 则是 -1.5～1.5之间的3位小数随机，例如：

<lora:20230919-1695103949936:1:lbw=1,1,1,1,1,1,1,1,R,R,R,R,R,R,R,R,R>

随机后的值：

特殊值（动态）：

变量 X。比如我们将 X,X,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0 设置为预设BG，那么我在调用BG标识符的时候就可以快速设置X的值，比如：

<lora:20230919-1695103949936:1:lbw=BG:0.8>  BG预设里面的X=0.8

XYZ绘图功能

比如我们想改变IN05到OUT05层的值来对比效果：

提示词中加入lbw=XYZ，点击生成：

<lora:20230919-1695103949936:0.5:lbw=XYZ>

权重设置

权重设置可以让我们修改预设的标识符，也可以新增标识符：

最后，大家有什么Stable Diffusion学习的疑问在评论区留言吧！

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】