umbato的博客

在课程前言我们也提到过，如果你直接开始训练，可能会不停的调整训练参数，比如素材图质量、数量、训练轮次等，一轮又一轮，一次又一次的不停调试，观察每一次的Loss损失函数值和其他数据，那么这就是一个耗费时间和精力以及金钱的过程。关于底模的选择，可以是SD系列的基础大模型，也可以是别人训练好的大模型，但是如果使用别人训练好的大模型作为底模进行训练的话，有可能出现只擅长此大模型下绘图，而在其他大模型下绘图效果较差或者不适用的情况，除非你就是需要一个配合某个大模型出图的Lora模型，那就无所谓了。

图片素材和Tag标签提示词文本缺一不可，没有一个完整的数据集，我们就无法训练出满意的Lora模型。那么，怎样的一个数据集整理才算达标呢？数据集的完善：定制人物Lora模型：人物脸型统一，即必须是同一个人。真人和二次元要分开，不能混淆训练。非定制人物Lora模型：很多不同长相的人物素材。可以当成画风训练。为了更好的让模型学习素材以及提高泛化性，提供的训练素材尽量内容特征齐全。比如人物Lora模型训练时，可以搜集包括：

Tag标签文本是对应到每张素材图中的英文内容描述。即Tag标签中的文本内容就是将素材图中展示的主体内容和部分元素特征用英文字词或短句的形式描述出来。通过SD软件中的训练-图像预处理功能，我们可以实现自动对数据集中的每张素材图进行Tag标签的标注。

模型机器只会学习它所看到的内容，比如要训练的人物戴着一副墨镜（或者头发遮住了眼睛），在你不告知它是一副墨镜的情况下（涉及Tag标签处理，后续内容会讲到），模型就会认为这幅墨镜也是这个人脸的一个器官，从而直接学习到最终的模型中去，那么最终的模型出图有可能只会出带着墨镜的人物图像，失去了泛化性。欠拟合，通俗的讲，就是太灵活，发挥太自由了。举个最简单的例子，就是当你训练出一个苹果的欠拟合Lora模型后，通过提示词的调用，它可能会给出一张橘子或者梨的图片，虽然长得像苹果的形状，但是它不是苹果。

我们都知道，在SD中作图时，出图结果是没有下限的，最终的图片可能是杂乱的，崩坏的，不符合我们预期的。训练时，对于机器的设备性能要求更高，比如使用Dreambooth去训练大模型，那么你的显卡显存至少要12G以上，这对于设备性能一般的同学，有些过于奢侈了。而Lora模型，只需要少量的素材集和一般的设备性能即可完成训练，而且模型体积相比大模型非常小（一般常见的8M-144M）。那么，学会了Lora模型的训练，你就可以依葫芦画瓢，调整其他模型对应的参数设置，应用到其他几个模型的训练上面。

本期课程主要针对的是电脑配置一般（如显卡显存4G），但是又想要进行Lora模型训练的同学，因此，我们采用了线上云端训练的方式讲解，降低学习门槛和对电脑配置要求，这种讲解方式的好处是既可以实现在线上云端训练Lora模型，同时还可以满足在本地训练Lora模型的同学需求（因为它们的原理、方式、参数调整都是大致相同的）。但是，本期课程不讲解关于Lora模型的原理、扩散原理、数学计算模型原理等，那些不是我们要研究的方向，我们只围绕Lora模型如何训练的知识点进行讲解，全是满满的干货。课程导师：茵巴托UMBATO。