手把手教你训练自己的Lora

本文教你手把手训练自己的Lora模型， 炼制的是Stable Diffusion的Lora模型。

1 准备工作

1.1 训练工具

当然， 我们可以使用Stable Diffusion的源码进行修改， 然后训练Lora模型。
但对于非专业用户来说， 这个门槛太高了。 推荐使用秋叶大佬的LoRA模型训练一键包。

b站视频介绍

训练包下载

一键训练包的使用：

• 首先， 下载一键训练包， 文件目录如下，注意要放在纯英文路径下， 不然可能报编码之类的错误。
  

• 运行A强制更新这个脚本安装所需要的依赖

• 运行A启动脚本， 运行后的界面如下：
  

1.2 准备图片

你最终想要生成什么风格的图片， 就需要准备相应的图片。 一般我们准备20~50张图片就差不多了。 当然图片中的元素越复杂， 就需要更多的图片。 图片最好比较干净， 比如常见的人像来说， 最好画面中的主体是人物， 其他背景干扰尽可能少。

1.3 准备基模型

Lora模型必须配合基模型使用， 那训练时也是一样的。 需要基于某一个基模型进行训练， 训练好的模型也要搭配这个基模型使用。

比如常见的， 训练写实的人物， 经常选用ChilloutMix作为基模型。

更过模型可以在civitai或其国内镜像网站https://aigccafe.com/上找到。

1.4 计算资源

计算资源主要就是Nvidia的显卡。 我用512*512的图像进行训练， 峰值显存占用大约6.6G。 我用的显卡是3060 Ti， 显存8G, 勉强够用。

2 开始训练

2.1 对图像进行打标签

打标签就是对每个图像用文字进行描述。 这样训练完后， 我们只要输入类似的文字描述， 模型就能生成类似风格的图片。

打标签可以手动进行， 也可以用工具自动处理,比如Deepbooru等。 这个在秋叶的SD一键整合包中也有集成。

或者也可以直接使用Lora模型一键训练包中的自动打标工具：

这2个标注工具用到的模型不一样， 打出的标签也有较大差别。 用Deepbooru打的标签更简短。用一键训练包中的Tagger工具打的标签更详细， 包含更多元素。实际也不见得哪个更好， 可以尝试一下进行对比。

打完标签后如下， 每个图片对应一个txt文件。

txt中的内容大概像下面这样：

打标后的文件夹要命名成num_xxx的形式， 如6_images, 其中6是训练时图片将会重复的次数， 建议20次以下。

2 开始训练

• 1 设置基模型的路径，包含文件名。
• 2 设置训练数据集路径， 这个地方需要注意一下， 路径不是设置成上面提到的num_xxx这一层， 而是要设置到num_xxx的上一层。
  例如， 我的文件结构如下， 路径就要设置成train_data
  
• 3 设置图像分辨率， 最好与实际图片分辨率保持一致
• 4 开始训练。
  训练相关参数主要设置max_train_epochs， 一般设置20以内， 太多容易过拟合。
  训练失败或成功界面会有相应提示。
  一般训练1个小时以内为宜， 太长就容易过拟合了。 当然训练时长取决于硬件性能等因素， 不能一概而论。