定制文生图：从零基础训练LoRA，生成可爱的热巴姐姐

---

---

简介：花1分钟了解LoRA在做什么。我们收集了30张热巴的个人照，然后送入到一个微调模型中训练，以让文生图模型能够生成热巴照片。效果如下：
没有使用LoRA模型之前，效果如下：

• 提示词：a girl, silver hair,(一个女孩，银色头发)
  参考这个提示词，就会生成对应的图像，如下：
  
  如果采用我们训练好的LoRA模型，效果如下：
• 提示词：a girl, silver hair, lora:dilireba:1,(一个女孩，银色头发,lora)
  参考这个提示词，就会生成对应的图像，如下：
  
  
  这个效果图，还是按照既定的目标在生成，但是在细节和瑕疵方面还是有不少问题存在。

一、LoRA是什么？

LoRA模型（Low-Rank Adaptation）是一种轻量级的模型微调方法，特别适用于大型预训练模型的快速适应。 在Stable Diffusion模型中，LoRA模型通过引入低秩矩阵来修改预训练模型的参数，从而实现模型的快速适应和优化。

二、LoRA如何训练文生图

1.收集数据

我们在网络上搜集了30章高清图片，有几点注意：1、分辨率高；2、背景不能复杂；

2.软件安装

1.下载整合包

软件整合包地址：https://pan.baidu.com/s/1EcmHFTiJ5-yw3ztOElOtBw?pwd=L461

2.安装依赖

3.解压文件夹

3.把相关模型放入指定文件夹中

这个文件夹里的模型放入：sd-webui-aki-v4.7\models\Stable-diffusion


把这个文件夹里的东西放入：sd-webui-aki-v4.7\models\ControlNet

3.运行软件

点击这个图标

点击一键运行

出现这个界面就算运行成功

4.如何读取

选择这个标签

第一个路径是图片的完整路径一般在sd-webui-aki-v4.7\path\to\images中创建一个文件夹放图片
第二个路径是产生标签的文本的路径一般是和第一个相同（如果本地没有的话会自己创建一个）

4.生产标签

生成的数据标签，是对图片的文本描述；比如：

系统自动标签如下：

1girl, solo, realistic, long hair, brown hair, v, smile, looking at viewer, hoodie, simple background, grey background, hood, upper body, long sleeves

虽然自动打标签很强大但是仍然有些描述不准确如‘V’,并没有说明是手势，所以仍然需要认为删除和修改

5.训练步骤

1.下载软件

地址
百度盘：https://pan.baidu.com/s/1TBaoLkdJVjk_gPpqbUzZFw 提取码：p8uy
夸克盘：https://pan.quark.cn/s/b4ccd1f635b6

解压这个压缩包

点击这个文件启动

进入这个页面就算成功启动了

2.开始训练

点击红色框哪里进行训练，因为是新手所以是新手模式。

这里的路径是你模型的完整路径然后加上训练模型的名字

这里是你放置生成标签文本及图片的完整路径。

根据图片大小来设置一般都是512，512或512，768。

第一个可以根据自己的需要进行名字的设置，第二个是Lora保存的位置，第三个是模型保存的频率。

第一个是训练轮数，根据自己需求设置。第二个是一次处理多少图片，根据自己电脑设置。
其他设置默认就好
然后点击训练

命令行出现这个就是训练完毕

三、使用训练好的LoRA

找到自己训练好的Lora，默认在lora-scripts-gui\output里面：

然后复制放到sd-webui-aki-v4.7\models\Lora到在里面去最后重启Lora，在文生图里面选择Lora：

点击之后选择训练好的模型就可以生成你想要的图片，如下图所示：

总结

打通了训练定制内容生成的通道，可以训练属于制定场景的LoRA模型。