Stable Diffusion｜提示词高阶用法（四）LoRA指定区域

进击的码农！

已于 2024-12-29 17:48:32 修改

阅读量1.5k

点赞数 49

分类专栏： AI绘画 SD应用教程文章标签： stable diffusion 人工智能 AI作画 AI绘画 midjourney

于 2024-12-12 09:45:00 首次发布

本文链接：https://blog.csdn.net/libaiup/article/details/144342387

版权

AI绘画同时被 2 个专栏收录

493 篇文章

订阅专栏

SD应用教程

475 篇文章

订阅专栏

你可能在使用LoRA模型时，总会因为LoRA的特定风格，影响到画面原本的人物形象，导致你可能需要不停的找新的LoRA模型去实验。作者本篇将会从“LoRA模型的分层控制”来介绍，如何在使用特定的LoRA模型，也可以不影响到画面原本的人物形象。如同下图这样的案例。

A4000显卡，SDWebUI原创生成

“LoRA分层控制”的教程，网络上已经有各路大佬总结过一些自己的分享了，不过在作者一一细品后，感觉都非常的学术派。在本篇作者就不再继续介绍学术理论了。感兴趣的朋友可以自行在B站或GitHub上查看相关的技术分享。

LoRA模型分层控制插件github.com/hako-mikan/sd-webui-lora-block-weight

作者本次分享将继续承接之前的AI漫画业务场景，介绍如何通过**“LoRA分层控制”**来进行角色形象风格的设定。

在介绍实操经验前，作者先简单介绍一下“如何使用LoRA模型的分层控制。”

众所周知，LoRA模型的标准使用格式为：

<lora:LoRA模型的名称:LoRA权重值>

而LoRA模型的分层控制，则是在LoRA权重值后，增加“:”，并添加的LoRA模型的17个分层的对应权重值代码。

<lora:LoRA模型的名称:LoRA权重值:分层权重值代码>

1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17
BASE	IN01	IN02	IN04	IN05	IN07	IN08	MID	OUT03	OUT04	OUT05	OUT06	OUT07	OUT08	OUT09	OUT10	OUT11

如下表所示，LoRA的17个分层中，第一层是BASE层，也可以成为是开关层。代表这如果BASE层为0时，后面16层不管如何设置，LoRA的分层控制都无法使用。网上有一些大佬，强烈建议将开关层必须写为1（额…），这个作者持保留意见。

作者在多种LoRA模型的多轮实践后，推荐在二次元的AI绘画中，BASE层设为0.6，较为稳妥。如果这个值小于0.6，那么LoRA模型的特征将被淡化接近为无，如果大于0.6，比如为1时，LoRA模型的其他并不是你想要的特征将被放大。

如下图所示，作者在使用时，将17层权重值代码分为两部分：分层权重值（BASE层） + 分层代码（2~17层）

极虎漫剪 - LoRA分层控制功能

LoRA模型的应用场景

在二次元漫画的AI绘画场景中，LoRA模型主要用于让我们轻松画出特定的角色形象、场景穿搭、色彩画风。

那么我们将一个人物LORA的特征分下类 (人物LORA为例，容易理解）

角色容貌：主要为人物的脸型、五官等，有时候还伴有特定的表情和发型发饰。

角色服饰：主要为特定的服饰，比如机甲衣、汉服等；

画面风格：常见的画风多为仙侠风，国风，midjourney风格等；

LoRA ｜角色容貌

分层权重值（BASE层）：0.6
分层代码（2~17层）：0,0,0,0,0,0,0,1,1,1,0,0,0,0,0,0

案例：

作者想生成的场景：一个穿着职业装的长发女孩下班后，走着街道。

画面描述：

中文：一个女孩，银色长发，紫色眼瞳，眼镜，口红，黄色职业装，纤细的身材, 走路，街道背景，看着屏幕
英文：1girl, silver long hair, purple eyes, glasses, lipstick, yellow business_suit, slim body, walking, street_background, looking at viewer,

(1girl, silver long hair, purple eyes, glasses),(yellow business_suit:1.4), lipstick, slim body, dynamic pose, dynamic angle,(street_background:1.3), (looking at viewer),
BREAK
(masterpiece:1.4, best quality), unity 8k wallpaper, ultra detailed, beautiful and aesthetic, perfect lighting, detailed background, realistic, solo, perfect detailed face, detailed eyes, highly detailed,  
<lora:害羞脸:0.8:0.6,0,0,0,0,0,0,0,1,1,1,0,0,0,0,0,0>

A4000显卡，SDWebUI原创生成

可以发现：

不使用LoRA的分层控制（不指定调用区域）时，LoRA模型影响了原本画面的结构（人物的姿态、发色、服装颜色等）；
使用LoRA的分层控制（指定调用脸部区域）后，LoRA模型仅影响了原本画面人物的脸部区域；
在使用LoRA的分层控制后，并将BASE层数值从 0.6 调整至 1.0 后，LoRA模型除影响了原本画面人物的脸部区域外，还影响了姿态、发色。

因此，作者建议BASE层数值的默认值设为 0.6 ，因为不同的LoRA模型的训练的拟合程度不同，所以作者建议你使用时，也不能一味照搬，还是要基于实际结果调整。

LoRA ｜角色服饰

分层权重值（BASE层）：0.6
分层代码（2~17层）：1,1,1,1,0,0.2,0,0.8,1,1,0.2,0,0,0,0,0

案例：

沿用上面的案例，作者希望女孩的服装不要太正式，时尚一点。因此此次加入了一个服装LoRA。

LoRA模型的地址：

是肚兜V1.0 - 1www.tusi.art/models/605263116525128948

(1girl, silver long hair, purple eyes, glasses),(yellow business_suit:1.4), lipstick, slim body, dynamic pose, dynamic angle,(street_background:1.3), (looking at viewer),
BREAK
(masterpiece:1.4, best quality), unity 8k wallpaper, ultra detailed, beautiful and aesthetic, perfect lighting, detailed background, realistic, solo, perfect detailed face, detailed eyes, highly detailed,  
<lora:肚兜_shidudou:0.8:0.6,1,1,1,1,0,0.2,0,0.8,1,1,0.2,0,0,0,0,0>

A4000显卡，SDWebUI原创生成

可以发现：

不使用LoRA的分层控制（不指定调用区域）时，LoRA模型由于其训练特征，几乎影响了原本画面中的角色的全部特征（人物的姿态、发色、服装颜色等）；
使用LoRA的分层控制（指定调用服装区域）后，LoRA模型除影响了原本画面人物的服装的内搭区域，其他部分影响很小；
在使用LoRA的分层控制后，并将BASE层数值从 0.6 调整至 1.0 后，LoRA模型除影响了原本画面人物的服装的内搭区域，对服装款式影响较大；

LoRA ｜画面风格

分层权重值（BASE层）：0.6
分层代码（2~17层）：0,0,0,0.1,0.2,0,0,0,0,0.1,1,1,1,1,1,1

案例：

沿用上面的案例，作者希望整个画面有一种春天的温暖感。因此此次加入了一个风格LoRA。

LoRA模型的地址：

吐司独家 | 这盛世，繁荣景象 | Prosperity in a prosperous era - V1www.tusi.art/models/610809727502360072

(1girl, silver long hair, purple eyes, glasses),(yellow business_suit:1.4), lipstick, slim body, dynamic pose, dynamic angle,(street_background:1.3), (looking at viewer),
BREAK
(masterpiece:1.4, best quality), unity 8k wallpaper, ultra detailed, beautiful and aesthetic, perfect lighting, detailed background, realistic, solo, perfect detailed face, detailed eyes, highly detailed,  
 <lora:繁荣景象:0.8:0.6,0,0,0,0.1,0.2,0,0,0,0,0.1,1,1,1,1,1,1>