十分钟就可以捏出独属于自己的“老婆”（Stable Diffusion进阶篇：LoRA模型训练）

最新推荐文章于 2024-09-03 09:43:42 发布

AI极客菌

最新推荐文章于 2024-09-03 09:43:42 发布

阅读量984

点赞数 14

文章标签： stable diffusion 人工智能 midjourney AI作画 AIGC 人工智能作画 ai

本文链接：https://blog.csdn.net/2401_85688943/article/details/141062234

版权

在数字艺术领域，AI绘画技术已经逐渐成为艺术创作的新趋势。Stable Diffusion（SD）作为一款领先的AI绘画工具，推出了LoRA模型训练功能，让你能够轻松捏出独属于自己的“老婆”。现在，让我们一起来探索Stable Diffusion的LoRA模型训练，开启你的个性化创作之旅。
在这里插入图片描述

LoRA的训练其实并没有想象中复杂，只要熟悉整体的流程，后续操作的时候估计十分钟内就能搞定甚至更快。

**LoRA的训练
**

LoRA最常用的一个地方就是人物的训练，这里就以我最喜欢的角色镜流作为这里的示范案例。

训练一个LoRA基本上需要三大步骤

第一步：收集训练集也就是在网上搜索下载一定数量的训练集图片，在训练集方面应当尽量涵盖训练对象的“多样化样本”。以我找的二次元角色为例子，我搜集了官方立绘图、各个不同角度的游戏建模截图、二创同人图等。

训练单一人物的情况下只需要20-30张差不多。

第二步：图片预处理，这个步骤在之前Embedding中也有做过，就是裁剪+打标，这些都可以在WebUI中完成。

就算是裁剪之后可能效果大小不太满意，那么可以自己进行手动调节，关于打标其实WebUI中还有一个更好的方式那就是WD 1.4Tagger。

之前用过Tagger来进行图片反推提示词，它的批处理文件夹功能下有一个附加标签的选项。

红框中可以加入一些特定的字词作为训练主体的“触发词”，可以是角色的姓名。这样一来反推之后就可以在TXT文件中发现附加标签放在了最前面：

在训练过程中，排在前面的提示词对于AI而言有着更高的权重，建立起的向量关联会更加稳固。

第三步：设置训练参数，在上述两步都完成了之后重新打开训练器，点击最上方的第二个选项LoRA

这里有三个比较重要的参数：

分别是Source model底模、Folders文件夹和Parameters参数。

底膜在模型训练中是作为一个微调的“基底”存在的，一般这个底膜就默认Stable Diffusion最原始的官方预训练模型就可以了。

在这里选择后会自动下载到本地文件夹并进行调用，不过下载速度可能会比较慢，所以推荐切换到Custom，再通过下面的选单选择电脑里的模型。

有关于官方模型：

目前许多资深模型训练者大部分都会选择SDXL模型，但是对配置要求非常高，最好是4090这样的顶级配置。

不同版本的模型之间底层构造会有些不同，通过哪个版本训练出的LoRA就只能与这个版本体系下的大模型一起使用，否则会报错。

但就目前而言1.5版本的一代模型仍然占据了市场的主导地位，再加上对配置要求并没有那么高所以这篇文章仍然是选择用1.5版本来进行LoRA的学习。

这样看来直接选1.5版本就没问题了，如果训练的是真人系版本就还好。要是训练的是二次元画风，那可能得注意一下。

有关这个事情有点复杂，和之前的Midjourney里的Prompt直接说句子、NovelAI小说生成插图、Danbooru动漫库网站打标签方式等有关，感兴趣的可以看原教程11:00处。

就目前而言，大部分的二次元LoRA会倾向于使用Novel AI模型作为底膜

https://huggingface.co/deepghs/animefull-latest-ckpt/tree/main

当然这些官方模型并不是唯一的选择，像是有很多“中立”的融合模型在市面上都很受欢迎。

这些融合模型都是比较常用到的模型了。

在选择好自己想要的底模之后，来到第二个文件夹folder的选项。

在这里有四个选项，最上方两个从左到右是存放训练集图片位置（有标注的）、存放正规化图片位置，下面两个从左到右是输出模型位置和训练日志存放位置。

接下来跟着我的步骤做，创建一个新的文件夹，命名后在里面创建三个空白文件夹分别为image、log、models。这些路径中不可以有任何中文和空格及特殊符号，不然的话可能会干扰脚本的运行。

在image文件夹中还需要再创建一个空白文件夹，其格式如图所示6_JingLiu

这里的6代表着重复学习训练集图片的次数，次数越多AI的学习效果就越深刻。一般来说二次元图片建议设置在5-10左右，三次元图片细节较为复杂，设置在10-30之间即可。

记得把那些打了标注的图片复制粘贴放进这个文件夹中：

文件名后面的名词代表概念，最好是打标过程中添加到里面的触发名词。这个文件夹就是所谓的概念文件夹，后续可以有多个概念文件夹存在以存放不同的训练集图片。

这里的训练集图片应该填写存有概念文件夹（6_JingLiu）的文件夹，而不是概念文件夹本身。

下方再填写一个模型输出名字这一步就算完成了。

参数调整

下一步终于来到参数部分了：

现在先别急，这些只是基础参数，后面还有进阶参数等着呢。

不过先别慌，这里有一些预设好的训练参数可供初学者们使用。

如果想要以最快的速度体验一下训练LoRA的感觉，这里直接选最上面的iA3-Prodigy-sd15。

然后在稍微设置一下训练步数，如果训练集图片在20-30张的话设置在1200-1500左右。

然后拖到最下方点击开始训练就可以了。

点击一下就可以，因为点击一次后界面是没有明显变动的，这个时候得来到后面的控制台。

看到这样的界面就是程序开始启动了，直到最下面的进度条都走完了，那就是完成了模型的训练。

这时候回到刚刚创建的models文件夹中，可以看到在生成过程中产生的一系列LoRA模型，选择那个不带任何数字的文件复制粘贴到Stable Diffusion的LoRA模型文件夹中。

现在回到Stable Diffusion中来检验一下结果，首先我先输入一段提示词，但是是没有加入LoRA的情况（由于我训练LoRA时选的底模是AnyLoRA，所以我这里生成的时候也选择AnyLoRA作为模型选择）：

然后在其他参数不变的情况下加入LoRA以及在提示词里面添加我们之前设置的关键词JingLiu（放在提示词最前面）。

是不是一下子就很明显看到LoRA的效果了，刚刚的漂亮小姐姐的脸就变成了我老婆镜流的样子。

熟悉了这一套流程之后无论是真人还是二次元又或者是3D都可以自己尝试啦！

今天的内容就到这里结束啦！

如果只是单纯对LoRA感兴趣的话学到这里其实就已经结束了LoRA的基础部分，后面的文章则是更加深入地学习LoRA这一风靡AI绘画市场的模型。

感兴趣的小伙伴可以接着学习后续的内容，当然这也临近春节了，希望大伙可以先去玩玩玩！学习的事情就不着急啦。

大伙下篇笔记见，拜了个拜！

masterpiece, best quality, JingliuV5, 1girl, solo, ((black sweater, black pants, ankle boots)), city alley, steps, sitting, night, white hair, lora:JingliuV5-10:1

Negative prompt: (worst quality, low quality:1.4), (monochrome:1.1), (zombie, sketch, interlocked fingers, comic), (negative_hand-neg), EasyNegative

Steps: 30
Sampler: Euler a
CFG scale: 7
Seed: 2806998829
Size: 512x512
Model hash: 876b4c7ba5
Model: cetusMix_Whalefall2
Denoising strength: 0.7
Clip skip: 2
ENSD: 31337
Hires upscale: 2
Hires upscaler: R-ESRGAN 4x+ Anime6B
Lora hashes: “JingliuV5-10: 5fc9130fdd81”
TI hashes: “EasyNegative: c74b4e810b03”
Version: v1.7.0

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
在这里插入图片描述