Stable Diffusion学习指南-Lora模型训练最全总结

凡是接触过 AI 绘画的小伙伴们，想必都对 Lora 有所耳闻。

Lora 模型的全称是 Low-Rank Adaptation of Large Language Models。它可以被看作是 Stable - Diffusion 里的一个插件。在生成图片的过程中，Lora 模型会与大模型相互融合使用，进而达成对输出图片最终效果的精准调整与优化。

我们举个更容易懂的例子：大模型就像素颜的人，Lora模型就如同进行了化妆、整容或cosplay，但内在还在大模型的底子。当然Lora模型不仅仅限制于人物，场景、动漫、风格都有相对应的Lora。

作为公认最具性价比的模型训练手段，只需要不到20张图片和10分钟的训练，就可以将一个人物、物品甚至是风格融入到AI绘画中，所以说训练Lora是每一个AI绘画学者必备的技能！今天就跟着小元老师来进入学习吧～

一、 配置要求和训练环境

1、电脑配置：N卡 gpu 6G以上；

2、训练环境：除了直接用训练脚本直接进行操作外，可以使用不同的训练图形化操作界面方便操作。可以用秋叶Lora模型训练器、朱尼酱的赛博丹炉，kohya-ss gui选一个即可，电脑配置不够用 可以选择 AutoDL、Google Colab青椒云桌面、揽睿星舟等云平台。

二、训练数据集准备

1、训练素材处理：

首先确定你的训练主题，比如某个人物、某种物品、某种画风等，确定好后准备用于训练的素材图片，素材图的质量直接决定了模型的质量，好的训练集有以下要求：

· 不少于 15 张的高质量图片，一般可以准备 20-50 张图；

· 图片主体内容清晰可辨、特征明显，图片构图简单，避免其它杂乱元素；

· 如果是人物照，尽可能以脸部特写为主（多角度、多表情），再放几张全身像（不同姿势、不同服装）；

· 减少重复或相似度高的图片。

素材图准备完毕后，需要对图片做进一步处理：

· 对于低像素的素材图，可以用 Stable Diffusion 的 Extra 功能进行高清处理；

· 统一素材图分辨率，**注意分辨率为 64 的倍数，**显存低的可裁切为 512x512，显存高的可裁切为 768x768，可以通过 birme 网站进行批量裁切，尺寸越大越吃显存，可能会出现报错学习卡死等问题。

2. 图像预处理

这一步的关键是对训练素材进行打标签，从而辅助 AI 学习。这里介绍两种打标签的方法：

方法一：把训练素材文件夹路径填写到 Stable Diffusion 训练模块中的图像预处理功能，勾选生成 DeepBooru，进行 tags 打标签。

方法二：安装 tagger 标签器插件，进行 tags 打标签。https://github.com/toriato/stable-diffusion-webui-wd14-tagger

选择批量处理, 输入目录填写处理好的图片目录，设置标签文件输出目录，阈值设置为 0.3（生成尽可能多的标签来描述图片内容），开始打标签。

3. 打标优化

预处理生成 tags 打标文件后，就需要对文件中的标签再进行优化，一般有两种优化方法：

· 保留全部标签：

优势：效率快省时省力的训练出模型，拟合度提高，且过拟合出现的情况是最低的。

缺陷：风格会变化过大，tag调用比较困难，训练时需要把epoch提高时间成本会被拉长。

· 剔除部分特征标签：

优势：整合成少量的触发词tag后，调用方便，更精准还原角色特征。

缺陷：容易导致过拟合，泛化性也会降低，如果标签删太多会导致生成的画面非常固化。

三、训练参数调节

至此，准备工作就完成了，可以开始准备正式训练LoRA了，这边使用秋叶大佬的Lora训练器SD-Trainer，选择新手训练模式。

进入新手模式后，需要选择训练LoRA使用的大模型：

底模文件路径，选择你要训练Lora使用的大模型，直接点击右侧的小文件夹选择即可。

训练数据集路径：在选择这一步之前，需要现在sd/lora-scripts-v1.7.3/train这个文件夹下建一个文件夹，在文件夹在里面建一个“数字_英文名”的文件夹，将之前打标好的图和标签一起复制到“数字_英文名”的文件中。

修改分辨率（之前数据集的尺寸是多少，这里就用多少）保存设置：保存模型的名称修改成你想要的名称，点击开始训练，就可以在终端看到它正在疯狂训练中…这个时间会比较久，慢慢等待就好。

这个过程会比较久，等待训练成功后会提示你训练成功。至此整个Lora的训练就完成了，你可以拿你训练好的Lora在WebUI上使用了。

Lora的训练还是相对比较复杂的

Lora训练如何学习？

对于很多刚学习AI绘画的小伙伴而言，想要提升、学习新技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。

如果你苦于没有一份Lora模型训练学习系统完整的学习资料，这份网易的《Stable Diffusion LoRA模型训练指南》电子书以及专业Lora模型训练器，尽管拿去好了。

包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习，也可以分享给身边好友一起学习。

由于内容过多，下面以截图展示目录及部分内容，完整文档领取方式点击文末卡片，即可免费获取！

LoRA训练对显卡有一定要求，同时需要安装一些方便训练的软件。

首先，对电脑配置的要求主要来自显卡，需要显卡有足够的显存，其他配置不太差就可以。显卡的选择中显存是第一要素，SD1.5版本的底模6G显存勉强可用，8G显存就可以比较流畅的生成图片和炼制LoRA,12G可以流畅的使用Dreambooth微调大模型。

我的Mac本直接Pass，Win的配置也不是特别高，所以炼丹速度比较慢，但是勉强可以用。

然后，就是分享下载几个后续方便训练的软件，帮助新手小白降低训练难度，提升炼丹效率。

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名Lora模型训练大师的正确特征了。

这份完整版的Lora训练学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】