Stable Diffusion揭秘Lora训练：一键训练出你想要的Lora模型（附工具）

在AIGC的新纪元中，模型已晋升为与算力并驾齐驱的生产力核心要素。想象一下，手中握有量身定做的庞大模型或LoRA模型，便能轻易锁定心仪的艺术风格、画面构成（无论是人物的神韵还是景物的独特），随后借助文成图、图生图，实现创意的批量复制与快速迭代，生产力因此飞跃。随着这一趋势的兴起，模型训练师或称为模型设计专家的职业角色应运而生，相关岗位的招聘需求也日益增长，为行业注入了新的活力。

谈及LoRA模型的训练，B站平台上已汇聚众多高手，他们的教学视频详尽且深入浅出，为学习者铺设了坚实的基石。本文旨在分享这一过程中的个人实践心得，虽主要遵循既有路径，但在某些关键步骤上，我融入了自己的创新策略，并诚实地记录了实践中遇到的挑战与陷阱，期待能与同行者相互启发，共同进步。

#01

/流程

今天的目标是训练一个图标风格的LoRA。我把训练的过程和用到的工具，列了张流程图。

在整合过程中，尤其注重了打标处理这一环节。鉴于WD 1.4标签器在某些情况下反推标签的质量不尽如人意，我采取了创新策略，利用ComfyUI搭了一个高效的工作流程。这一流程巧妙地集成了在线的语言大模型，实现了更加精准的标签标注，显著提升了打标的准确性和效率。

#02

/图片处理

用ComfyUI的工作流，这次比较简单，只是缩放了一下尺寸，如果需要检测人脸，然后裁剪，也是可以搭建工作流方式实现的。

#03

/打标

使用了在线的大模型进行批量打标和保存处理，提示词会更精准，当然也更费钱~

第一步是先让视觉模型识别出画面。

打标的第二步，是根据识别的内容，总结为标签tag。

把触发词添加到tag文本中，然后保存，处理后，文件夹应该是这样的。

注意：npz是训练是生成的，忽略哈~

文件结构

处理后的素材，文件结构是这样的：

lora-scripts-v1.8.5  
   -- train  
     -- gold3dicon  
        -- 8_icons  
  

注意最底层的目录8_为标准前缀，表示文件夹内的素材，每张图训练8次，你也可以调高这个数字，例如10，这样会增加整体训练步数。

关于训练步数，公式为：【每张图训练次数x最大训练epoch（轮数）x 图片张数】/ 批量大小=总训练步数

#04

/开始训练

使用秋叶的web训练工具

直接使用专家模式，新手跟专家其实差别不大，专家模式有些参数，新手模式没有。

训练种类

SD1.5模型选sd-lora。SDXL模型选sdxl-lora。

训练底膜

选择一个底模，这里训练SDXL LoRA，直接选择SDXL原生底膜。

VAE

这里要重点提一下，踩了一些坑，这里写的是可选，事实上对于某些底模，这里需要选一个适配的vae，而且是fp16的才行，不然会报错。

数据集

选择上面输出的目录即可

resolution

根据素材选择相应的尺寸

最后就是训练过程了，漫长的等待，显卡在燃烧~

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除