Kohya 训练器 Stable Diffusion工作流中训练LoRA模型方法

本文档是关于Stable Diffusion工作流中训练LoRA模型方法的文档

一.前置训练集准备

       第一步：

准备训练集：准备训练模型时使用的训练集。注意：训练集应当能尽量涵盖训练对象的“多样化样本”。如角色立绘图，各个角度不同的图片。

       第二步：

              图片预处理：裁剪+打标。裁剪：就是让AI能更好地通过图片辨析训练对象

尺寸需要符合原模型。打标：使用WD 1.4标签器。

裁剪：

       对于图像过于瘦长但又重要的图像可以使用图片处理软件进行横向拉长。

注意：训练器不能同时训练大小不同的图像。

注意：Kohya训练器可以勾选【启用数据容器】选项解决大小不一的问题。此选项把各个图片按照尺寸分别装进对应的桶里，再进行缩放，分别学习。

       尺寸须知：

              SD 1.4/1.5 ：512*512

              SD 2.0/2.1 ：768*768

              SD (0.9/1.0) : 1024*1024

打标：

       越希望A学习的东西越不能出现在标注里。如果标记过于全面，则不得不在每次生成时，都将”白头发，红眼睛”加进去。

       定理：标注里所描绘的标注在生成图片时，如果没有再一次使用对应关键词，则均会在生成时被“AI”剔除。

       但如果一点标签也不给，AI的学习效果会变差。

       打标分为：1.一句话描述

                            2.不希望出现的元素。

                            3.不包含细节的关键词（描述整体的词，角度，颜色等）

       2.对标签进行“清洗”与“纠正”：

              1.使用Dataset Tag Editor进行标签纠正。

              整体审核：

                     批量编辑-删除，选择一个或多个标签，选择移除，即可。

             

删除标签类型：

                     1. 明确不符合角色特质的错词。

2. 与训练对象本体识别特征密切相关的词。如最主要的特征：比如：头部特征，发型，发色等。

       总结：希望始终生成统一特征，就删除对应特征的关键词。如希望统一服装，就删除对应服装的关键词。

                     3.换，替换与之不对应的词。Danbooru 标签超市

4.共通：一些共通有明确特质、元素的图片，可以为他批量增加一些标签。比如如果使用LoRA后色调偏暗，有可能就是因为训练集图片有大部分的背景为夜景，或暗调。也就是说，训练集的调性会影响使用LoRA出图时的调性。

       通过选择过滤，选择足够的应该修改的场景图片-使用搜索与替换。进行对标签的修改。

       在搜索与替换中，取消 只展示在 Positive 过滤器中的被选中标签，原标签就是他们共同的标签。

                            单张审核：

1.很多的东西Tagger均无法识别出来。如：夜晚，调性，粒子，花，树，建筑等。

2.将图片的元素与你看见的元素进行对比，少补多删。