第三讲：LORA模型训练-10分钟掌握模型训练素材图片的要求

umbato

已于 2024-01-06 11:30:32 修改

阅读量2k

点赞数 11

分类专栏： AI绘画设计文章标签：人工智能深度学习算法

于 2024-01-06 11:07:55 首次发布

本文链接：https://blog.csdn.net/umbato/article/details/135423359

版权

AI绘画设计专栏收录该内容

6 篇文章 6 订阅

订阅专栏

本节课程我们将正式开始讲解Lora模型训练相关知识。

1、确定Lora模型的训练类型和目标

首先，我们要确定好Lora模型的训练是人物、物品、画风中的哪种类型，通过确定类型，去搜集相关的图片素材。

比如，你要训练真人Lora模型，那么你就要保证你的数据集中是真人素材图，如果是要训练二次元，那么就要保证数据集是二次元素材图。如果再细分一下，你训练某个真实人物的Lora模型，那么就要保证数据集中所有图片都是这个统一脸型的人物素材图（比如我们之前的图例JayChou的Lora模型）。如果人物脸型不统一，是很多个不同人物的素材图，那么就转为画风训练。

我们最终的目标是要实现训练出的Lora模型具有很高的调用性和泛化性。

调用性是指，当我们给出Lora模型的调用指令时，它能够积极的响应并反馈回带有明显Lora模型特征的图片。泛化性是指，当我们给出不同的提示词进行构图创作时，它能够灵活的并更加贴切的展示我们所需要的提示词内容，而不是只会局限性的反馈回某个或某几个构图场景或元素。

对于泛化性，我们可以通过下面两个概念更好的去理解：过拟合和欠拟合。

# 过拟合

原素材图

过拟合示例图

理想示例图

过拟合，通俗的讲，就是太像而又太局限性了。过于追求完美的还原度而造成的一种训练结果。它可能很好的做到了对原物一定程度的还原，但是又失去了灵活性。比如，当你需要将一个人的黑头发通过提示词的更改变成红头发，但是它依然只会给出你一张黑头发的人物图片，不会懂得变通，这就属于一种过拟合的现象。

#欠拟合

原素材图

欠拟合示例图

理想效果示例图

欠拟合，通俗的讲，就是太灵活，发挥太自由了。举个最简单的例子，就是当你训练出一个苹果的欠拟合Lora模型后，通过提示词的调用，它可能会给出一张橘子或者梨的图片，虽然长得像苹果的形状，但是它不是苹果。这就属于一种欠拟合的现象。

因此，我们需要一些手段，去寻求一个比较均衡的点，去控制避免这种现象，来达到一种比较好的泛化性效果。既可以尽量提高还原度，还能够灵活的展现不同效果的图片。

1、Lora模型训练所需的数据集

数据集包括训练所使用的图片素材和对应的Tag标签提示词文本（txt格式）。

l 关于图片素材，需要注意的重点知识（敲黑板，记笔记！）：

2.1图片素材格式

图片素材是jpg或png格式，不必全是正方形图片，可以是任意符合训练需求的尺寸，不要相信网上说的Lora模型训练需要保证素材图是正方形（其实是Embedding嵌入式模型和Hypernetwork超网络模型训练需要保证宽高1:1的尺寸比例数据集），老师做过很多Lora模型训练，没有必须统一为正方形，反而提高了最终成品模型的泛化性（当然，泛化性是否优良还依赖图片素材、标签词、学习率等参数设置，后续会讲到），对各种尺寸和构图场景的出图效果起到了积极的作用。

2.2图片素材质量

尽可能使用无水印无文字的高清大图（起码要200Kb以上），图片最短宽度或高度尽可能不低于512px像素，一般建议素材图尺寸控制在512px-1024px，这个和你的设备性能也有关系，如果你的设备性能一般，那就可以选择最低512px，如果你的设备性能好一些，那可以选择768px或者更大的尺寸数值。这样，模型才能更好地学习图片中的内容素材。特别是做定制人物Lora模型训练的时候，宁缺毋滥，我们宁愿让模型多学习几个轮次的好图，也不要为了累积数据集的素材数量，让它去学习一轮的坏图。

总之一句话，切记：图片质量优先级高于图片数量！

2.3 图片素材要保证主体无遮挡，内容特征齐全，色调风格适配

2.3.1关于人物Lora模型训练：

模型机器只会学习它所看到的内容，比如要训练的人物戴着一副墨镜（或者头发遮住了眼睛），在你不告知它是一副墨镜的情况下（涉及Tag标签处理，后续内容会讲到），模型就会认为这幅墨镜也是这个人脸的一个器官，从而直接学习到最终的模型中去，那么最终的模型出图有可能只会出带着墨镜的人物图像，失去了泛化性。因此，在选择图片时，要尽量选择主体特征无遮挡和内容特征齐全的素材图。如果确实找不到相符的素材图而又想增加数据集的素材量，那么可以将此类遮挡特征书写到Tag标签文本中作为强调说明，让模型学习过程中知道它是遮挡主体的某些特征，这样就可以减少或者避免模型的错误学习，从而突出主体特征。

2.3.2关于画风Lora模型训练：

要尽可能保证素材图的风格一致性。比如想要训练素描风格类型的Lora模型，那就搜集和素描相关的素材图和提示词，整理到训练数据集中，如果想要训练某个艺术家风格类型的Lora模型（比如之前介绍的天野喜孝的画风图例），那就搜集这个艺术家的作品集和提示词进行整理。如果想要训练某些色彩色调、风景元素类型的Lora模型，那就搜集色调风格尽量统一适配的素材图和提示词进行整理。