2025年必看!最受欢迎的AI绘画Lora模型训练工具大盘点

在SD3.5、Flux、HunyuanVideo等模型获得开源社区支持后,微调或训练Lora就成了一个强需求,相对于之前SD1.5、SDXL时代,从去年开始已经有多款工具支持此类训练,今天就给大家盘点一下模型训练工具,大家可以根据自己的需求选择适合自己的训练工具。

一、本地训练

这些工具都可以在自己的电脑上进行训练,不过现在主流的Flux模型,你的显卡至少要在12G才能保证Lora顺利的训练。

Kohya_ss

Kohya_ss 是一个用于训练SD系列模型、FLUX模型的的开源软件,主要是为sd-scripts提供了一个基于 Gradio 的图形用户界面(GUI),使得用户可以更方便地设置训练参数并生成相应的命令行指令来训练模型。你也可以直接使用sd-scripts通过命令行来进行模型的微调和Lora训练。

  • sd-scripts:https://github.com/kohya-ss/sd-scripts
  • Kohya_ss:https://github.com/bmaltais/kohya_ss
主要特点
  • 跨平台支持:Kohya_ss 支持 Windows 和 Linux 操作系统,虽然 macOS 的支持并不理想,但在某些条件下也可能正常工作。
  • 用户友好的 GUI:通过图形界面,用户可以轻松配置训练参数,而不需要深入了解命令行操作。这对于初学者尤其友好。‌

img

AI Toolkit‌

由Ostris开发的‌AI Toolkit‌,主要用于训练和部署AI模型,AI Toolkit支持多种AI模型的训练和微调,包括FLUX模型。它可以帮助用户生成高质量的图像,通过微调Stable Diffusion模型,用户可以根据自己的需求生成特定风格的图像‌。此外,AI Toolkit还集成了来自Azure AI Studio和Hugging Face的工具和模型,帮助开发者快速下载、微调、测试和部署AI模型‌

  • AI Toolkit‌:https://github.com/ostris/ai-toolkit
项目特点
  • 灵活的模型训练:支持多种 AI 模型的训练,用户可以根据需求选择不同的模型和配置。
  • 高效的资源利用:通过 LoRA 和量化技术,在有限的 GPU 资源下高效地进行模型训练,降低训练成本。
  • 友好的用户界面:集成了 Gradio UI,用户可以通过直观的界面进行模型训练和调试,无需复杂的命令行操作。
  • 跨平台支持:支持 Linux 和 Windows 系统,用户可以根据自己的环境选择合适的安装和运行方式。

img

OneTrainer

OneTrainer 是一个针对模型训练需求的一站式解决方案。它支持多种模型,如 FLUX、Stable Diffusion、SDXL 等,并提供了多种训练方法,包括完全微调、LoRA、嵌入等。OneTrainer 还具备自动数据增强、张量板集成、多提示训练等功能。

  • OneTrainer:https://github.com/Nerogar/OneTrainer
主要特点
  • 多种模型支持:OneTrainer 支持多种类型的深度学习模型,用户可以根据需求选择合适的模型进行训练。
  • 易于使用:该软件提供了友好的界面和清晰的文档,使得即使是初学者也能快速上手进行模型训练。
  • 高效的训练流程:OneTrainer 优化了训练过程,支持分布式训练和多 GPU 使用,以提高训练效率。

img

FineTrainers

FineTrainers 是一个专注于视频模型训练的开源工具,最初名为 cogvideox-factory,现已更名为 FineTrainers。该项目的主要目标是支持各种模型的 LoRA训练,尤其是与 Hugging Face 的 Diffusers 库兼容的模型,如LTX Video、CogVideoX、Mochih和Hunyuan Video。这是一款命令行工具,如果你想要一个用户界面,可以第三方基于此工具开发的finetrainers-ui

  • FineTrainers:https://github.com/a-r-r-o-w/finetrainers
  • finetrainers-ui:https://github.com/neph1/finetrainers-ui
主要特点
  • 视频模型训练:FineTrainers 旨在简化视频生成模型的训练过程,支持多种训练方法,包括 LoRA 微调和未来可能的控制网络(ControlNets)等。
  • 支持多种模型:当前主要支持LTX Video、CogVideoX、Mochih和Hunyuan Video模型,并计划扩展到其他视频生成模型。

img

FluxGym

FluxGym 是一个开源软件,旨在为用户提供一个简单的网页界面,用于训练 FLUX LoRA 模型。该项目由 CocktailPeanut 开发,特别适合低显存(VRAM)环境下的模型训练,支持 12GB、16GB 和 20GB 的显存配置。

  • FluxGym :https://github.com/cocktailpeanut/fluxgym
主要特点
  • 简化的用户界面:FluxGym 提供了一个直观的网页用户界面,使得用户可以轻松地进行模型训练,而无需深入了解命令行操作。
  • 低显存支持:该软件特别设计以支持较低显存的 GPU,使得更多用户能够在普通硬件上进行模型训练。
  • 兼容性强:FluxGym 完全支持 Kohya sd-scripts 的所有功能,用户可以通过高级选项进行更复杂的设置。

img

diffusion-pipe

diffusion-pipe 是一个专门为 Flux、LTX-Video 和 HunyuanVideo 设计的 LoRA 模型训练脚本。请注意,此项目仍处于开发阶段,具有高度实验性质,可能不稳定且未经充分测试,因此在使用时需要谨慎。

  • diffusion-pipe:https://github.com/tdrussell/diffusion-pipe
主要特点
  • 流水线并行:通过分布式计算,使那些过于庞大而无法在单一 GPU 上训练的模型也能得到有效的训练。
  • 完全微调支持:针对 Flux 模型提供全面的微调能力,确保模型可以适应特定的任务需求。
  • LoRA 支持:不仅限于 Flux,还包括 LTX-Video 和 HunyuanVideo,使得这些模型能够利用LoRA的优势。
  • 性能监控:将重要的训练指标记录到 TensorBoard 中,便于实时跟踪训练进度。
  • 评估与泛化:在保留的评估集上计算各种指标,帮助衡量模型的泛化能力。
  • 检查点管理:实现训练状态的自动保存与恢复,即使训练过程被中断也能继续。
  • 多进程优化:高效地利用多 GPU 环境,预缓存潜在变量和文本嵌入,加速训练过程。
  • 扩展性:只需实现一个简单的子类即可添加对新模型的支持,简化了集成流程。
  • 跨平台兼容:尽管存在 Windows 平台上的兼容性问题,但已确认可以在 Windows Subsystem for Linux (WSL 2) 上正常运行。

ComfyUI-FluxTrainer

ComfyUI-FluxTrainer 是一个开源软件,旨在为用户提供在 ComfyUI 环境中进行 LoRA(Low-Rank Adaptation)模型训练的功能。该项目由 Kijai 开发,适合希望在熟悉的界面中进行模型训练的用户。

  • ComfyUI-FluxTrainer:https://github.com/kijai/ComfyUI-FluxTrainer
主要特点
  • 用户友好的界面:ComfyUI-FluxTrainer 利用 ComfyUI 的图形界面,使得用户可以在熟悉的环境中进行模型训练,而无需深入命令行操作。
  • LoRA 训练支持:该软件专注于 LoRA 模型的训练,并提供相应的节点和工作流程,方便用户进行实验和调整。
  • 兼容性:用户可以使用与推理相同的模型和 Python 环境,避免了不兼容性问题。

img

Musubi Tuner

Musubi Tuner 是一个开源项目,主要用于训练HunyuanVideo的 LoRA模型,该软件目前处于开发阶段,已验证的功能主要集中在图像训练上,也就是利用图片来训练HunyuanVideo的 LoRA模型。开发者TTPlanet已经基于此工具打造了一个带GUI的一键包,可惜的是没有发布在GitHub上,而是放在了百度网盘上。

  • Musubi Tuner :https://github.com/kohya-ss/musubi-tuner
主要特点
  • 内存高效实现:Musubi Tuner 设计上注重内存使用效率,适合在显存较大的环境下运行,推荐使用 24GB 或更多的 VRAM,16G显存页面勉强运行。
  • 多种功能支持:虽然当前版本主要支持图像训练,但未来将扩展到视频训练功能。
  • Windows 兼容性:该软件已在 Windows 系统上测试,但尚未验证在 Linux 系统上的兼容性。

二、在线训练

如果你没有好显卡,那么使用模型共享网站、AI绘画网站或者租用GPU云平台来训练就是个不错的选择。

Liblibai

Liblibai应该算是国内最大的绘画模型共享网站,它也提供了Lora训练服务,优点自然就是中文界面,使用简单,还提供了免费额度,非常适合入门。

  • 地址:https://www.liblib.art/pretrain

img

Civitai

作为海外最大的绘画模型共享网站,自然也提供了Lora训练服务,优点可能就是不限制NFSW素材。

  • 地址:https://civitai.com/models/train

img

其他平台

  • Replicate:https://replicate.com/ostris/flux-dev-lora-trainer/train
  • KREA AI:https://www.krea.ai/train

此类平台非常多,就不一一介绍了,如果你想有更大的自由度,可以租用GPU云平台来进行训练,找个价格合适的就可以。

三、如何选择

选择训练工具或者平台,自然就是更具自己的显卡和钱包情况来定,如果你是英伟达4090显卡,AI Toolkit‌、OneTrainer、diffusion-pipe等都是不错的选择,如果你显卡不好,那么FluxGym就是比较好的选择,这些工具的安装还是一个问题,大家可以通过StabilityMatrix、Pinokio等工具来进行一键安装,或者寻找其他人打包好的一键包;至于在线平台的选择,考虑的就是你的钱包和网络状

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:
在这里插入图片描述

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合,通过使用AIGC工具库,能更加快速,准确的辅助我们学习AIGC
在这里插入图片描述

有需要的朋友,可以点击下方卡片免费领取!

精品AIGC学习书籍手册

书籍阅读永不过时,阅读AIGC经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验,结合自身案例融会贯通。

在这里插入图片描述

AI绘画视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,科学有趣才能更方便的学习下去。

在这里插入图片描述

这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

img

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值