Stable Diffusion | 揭秘LoRA训练:开启AI智能新纪元

在AIGC的新纪元中,模型已晋升为与算力并驾齐驱的生产力核心要素。想象一下,手中握有量身定做的庞大模型或LoRA模型,便能轻易锁定心仪的艺术风格、画面构成(无论是人物的神韵还是景物的独特),随后借助文成图、图生图,实现创意的批量复制与快速迭代,生产力因此飞跃。随着这一趋势的兴起,模型训练师或称为模型设计专家的职业角色应运而生,相关岗位的招聘需求也日益增长,为行业注入了新的活力。
在这里插入图片描述

谈及LoRA模型的训练,B站平台上已汇聚众多高手,他们的教学视频详尽且深入浅出,为学习者铺设了坚实的基石。本文旨在分享这一过程中的个人实践心得,虽主要遵循既有路径,但在某些关键步骤上,我融入了自己的创新策略,并诚实地记录了实践中遇到的挑战与陷阱,期待能与同行者相互启发,共同进步。

#01

/流程

今天的目标是训练一个图标风格的LoRA。我把训练的过程和用到的工具,列了张流程图。

在整合过程中,尤其注重了打标处理这一环节。鉴于WD 1.4标签器在某些情况下反推标签的质量不尽如人意,我采取了创新策略,利用ComfyUI搭了一个高效的工作流程。这一流程巧妙地集成了在线的语言大模型,实现了更加精准的标签标注,显著提升了打标的准确性和效率。

#02

/图片处理

用ComfyUI的工作流,这次比较简单,只是缩放了一下尺寸,如果需要检测人脸,然后裁剪,也是可以搭建工作流方式实现的。

#03

/打标

使用了在线的大模型进行批量打标和保存处理,提示词会更精准,当然也更费钱~

第一步是先让视觉模型识别出画面。

打标的第二步,是根据识别的内容,总结为标签tag。

把触发词添加到tag文本中,然后保存,处理后,文件夹应该是这样的。

注意:npz是训练是生成的,忽略哈~

文件结构

处理后的素材,文件结构是这样的:

lora-scripts-v1.8.5  
   -- train  
     -- gold3dicon  
        -- 8_icons  
  

注意最底层的目录8_为标准前缀,表示文件夹内的素材,每张图训练8次,你也可以调高这个数字,例如10,这样会增加整体训练步数。

关于训练步数,公式为:【每张图训练次数x最大训练epoch(轮数)x 图片张数】/ 批量大小=总训练步数

#04

/开始训练

使用秋叶的web训练工具

直接使用专家模式,新手跟专家其实差别不大,专家模式有些参数,新手模式没有。

训练种类

SD1.5模型选sd-lora。SDXL模型选sdxl-lora。

训练底膜

选择一个底模,这里训练SDXL LoRA,直接选择SDXL原生底膜。

VAE

这里要重点提一下,踩了一些坑,这里写的是可选,事实上对于某些底模,这里需要选一个适配的vae,而且是fp16的才行,不然会报错。

数据集

选择上面输出的目录即可

resolution

根据素材选择相应的尺寸

最后就是训练过程了,漫长的等待,显卡在燃烧~

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值