三步训练一个Flux的Lora模型

已于 2024-09-10 22:30:13 修改
阅读量2k 收藏 2
点赞数 9
分类专栏： AI绘画从入门到精通 文章标签： Lora 模型训练 Flux AI绘画 ComfyUI ai_toolkit
于 2024-09-10 13:43:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41797451/article/details/142096790
版权

本文收录于《AI绘画从入门到精通》专栏，专栏总目录： 点击这里。

目录

摘要

一、项目部署

二、Lora 模型训练

1. 准备图片素材

2. 模型训练

三、Lora 模型测试

四、总结

五、参考内容

摘要

        基于自身提供的图片数据集，训练出一个能够生成具有自身图片风格的基于 Flux 的 Lora 模型。

一、项目部署

        待更新...

二、Lora 模型训练

1. 准备图片素材

           图片素材地址：百度网盘链接 

2. 模型训练

           1）输入本地生成训练好的Lora模型名称

            2）填写模型触发词，方便使用Lora模型时，生成自己想要风格和人物

最低0.47元/天 解锁文章
flux 文生图大模型 自有数据集 lora微调训练案例
weixin_42357472的博客
09-04 1173
数据集：https://huggingface.co/datasets/quocanh34/itay-hires-lora-dataset-v2。国内https://modelscope.cn/models/ai-modelscope/flux.1-dev/files。模型地址：name_or_path；待支持：https://github.com/kohya-ss/sd-scripts/X-LABS 的https://github.com/XLabs-AI/x-flux。1）首先填写配置文件。
大模型隐空间推理论文阅读笔记
pku_langzi的博客
08-17 1008
coconut等大模型隐空间推理阅读笔记
Flux 模型 LoRA 训练
最新发布
Liudef06的博客
03-26 906
训练lora
终于不用为GPU算力发愁了，FLUX LoRA训练一键启动！(附模型）
2401_84830464的博客
09-26 2018
FLUX 是一个开源的全新的图像生成器，可以生成逼真的超现实图像，人们称它为 Midjourney 的终结者，下一代 Stable Diffusion 的替代品。
FLUX本地Lora训练
王念的博客
08-19 3477
前言 目前 Flux 出现了 3 个训练...
FLUX | 轻松掌握FLUX.1 LoRA本地训练秘籍！
小王的储物间
09-11 7408
我们再来看一下 4 种情况下在 1000 步的效果，比较出乎意料的是使用复杂标注的效果反而没有其他两种情况好，比如在第二张图片上，虽然它能保存一部分人物的特征，但是出来的结果仍旧是动漫风格的，我个人觉得是复杂标注里面过多的特征描述反而束缚了模型的发挥，其实 FLUX.1 已经非常聪明了，在训练的时候它已经知道图片的很多特征，没有必要继续进行过多的描述。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
使用fluxgym轻松进行flux lora模型训练
qq_38609692的博客
01-09 2530
不管是在图像还是语音的训练中，高质量的数据集和准确的标签对模型性能至关重要。对于普通玩家来说，与其过早纠结于参数调优，不如先将精力放在数据集的整理上。当效果不理想或遇到瓶颈时，再进一步查阅资料，调整参数或优化模型。
LoRA训练脚本使用kohya-ss的训练器，用于扩散模型.zip
08-08
文件名称“lora-scripts-main”很可能是一个主脚本或者代码仓库的根目录，它包含了执行LoRA训练的所有核心代码。在这个目录下，你可能会找到以下内容： 1. 数据预处理脚本：用于读取和处理原始数据，转换成模型可以...
FLUX.1 LoRa 微调
szmars的博客
10-02 2753
微调的好处：可以让你突破换脸这种输入图片的场景约束，微调好的模型可以让你真正的文生图。换脸只能根据输入的图片和视频来生成内容。
如何一键使用 ComfyUI 进行本地 FLUX.1 LoRA 的训练
m0_71746299的博客
09-11 5677
最近在尝试进行 FLUX.1 的 LoRA 训练，以前没有 SD1.5 和 SDXL 的训练经验，网上看到 FLUX.1 的 LoRA 炼起来效果比较好，就试了几种方案来看看效果。这个文章更多是介绍如何使用 ComfyUI 来进行 LoRA 的训练，一些训练的参数我也还在调试中，后面会陆续更新。在进行 LoRA 训练的时候，数据集也就是用于训练模型的图像，个人认为是模型训练中最重要的部分，需要花大量的时间进行整理、清洗、标注等，好的图像能带来更佳的生成效果，比如可以参考以下这些要素。
手把手教你训练自己的FLUX Lora，从此实现写真自由
Misdirection_XG的博客
12-25 1304
最近有小伙伴问我，提供一张照片怎么实现生成自己想要的图片，上次写过一篇文章，专门实现这个效果，仅需一张照片，不需要训练lora，就可以实现生成一致性的人物，上次的方案对于虚拟角色很好，但是生成的人物跟原人物脸部还是有点偏差，我估计是因为训练数据少了导致的。所以，今天专门写一篇简单易操作的教程，通过自己照片训练一个自己专属的FLUX模型，利用好FLUX的超强生图能力，从此想生成啥生成啥，实现写真自由。等待一会，打标完成，依次点击每张图片，把自动生成文字删掉，然后只写 触发词、1gril或者1boy，如图，
flux文生图 选择单词的方式进行生成图像
二分掌柜的
01-10 259
flyfish
12G VRAM 即可训练 Flux LoRA
weixin_51674085的博客
09-09 703
在 Low VRAM 本地机器上训练 Flux LoRA 最简单的方式，作者在随后的更新中又优化了性能，并表示最低可能只需要 8GB VRAM（未经测试），支持 12GB、16GB、24GB VRAM 进行 LoRA 训练。需要至少 24GB VRAM，该项目底层基于。提供了非常易用的界面，比起。
FLUX.1-dev模型本地训练&推理教程（GPU/NPU）
记录个人日常所学所思
10-21 4517
Flux.1-dev多模态模型本地训练&推理（GPU&NPU环境）保姆教程
【AI辅助设计】没错！训练FLUX LoRA就这么简单！
ice_99的博客
10-29 2082
得益于开源社区的力量，在各位大佬的努力下，现在16G VRAM的家用电脑也可以训练FLUX的LoRA了 👏。 今天我使用`fluxgym`这个方法，训练LoRA，并记录过程。
在Flux种训练了一个不存在的概念#Wonderman
shadowcz007的博客
09-03 1438
shadow：这是一篇RunDiffusion发布的训练Wonderman的Lora经验总结，花了100个小时做了个验证，成功在Flux中训练了一个原本不存在的概念，训练的Lora表现非常出色。我们可以重点关注优化训练数据集所提到的方法。接下来一起看下作者的经验总结：Wonderman - By RunDiffusion.comProof of Concept Goals概念验证目标对于这个概念验...
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5151
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
flux lora训练
02-23
### 使用 Flux 和 LoRA 进行机器学习模型训练 #### 准备环境与工具 为了能够顺利地使用 Flux 和 LoRA 来进行模型训练，首先需要准备好相应的开发环境。这通常意味着要安装 Python 及其必要的库文件，比如 PyTorch 或 TensorFlow 等深度学习框架。对于特定于 Flux 的情况，则需按照官方文档指导完成 Julia 编程语言及其依赖项的设置。 #### 加载预训练模型并应用LoRA微调 当准备就绪之后，可以从 Hugging Face Hub 下载预先训练好的基础模型作为起点[^2]。接着利用 LoRA 技术对该模型实施低秩适配(low-rank adaptation)，即只更新部分参数而非整个网络结构中的所有权重值。这种方法不仅提高了效率而且减少了过拟合的风险。 ```python from peft import LoraConfig, get_peft_model import torch.nn as nn model = ... # Load your base model here. config = LoraConfig( r=8, lora_alpha=32, target_modules=["q", "v"], lora_dropout=0.05, ) peft_model = get_peft_model(model, config) ``` #### 构建数据集用于训练过程 构建适合当前任务的数据集至关重要。如果目标是创建像“黑神话悟空”这样的角色图像生成器，则应收集大量与此主题相关的高质量图片样本，并将其整理成可用于训练的形式。这些数据应当被划分为训练集、验证集以及测试集三大部分以便后续评估模型性能[^3]。 #### 开始训练流程 一旦上述准备工作全部完成后就可以启动实际的训练环节了。此阶段涉及到定义损失函数(loss function)、优化算法(optimizer algorithm)以及其他超参的选择。值得注意的是，在每次迭代过程中都要保存好最佳版本的模型副本至指定路径下以供将来部署或进一步改进之用[^1]。 ```python output_dir = "./ai-toolkit/output" for epoch in range(num_epochs): ... if best_loss > current_loss: best_loss = current_loss checkpoint_path = f"{output_dir}/best_model.pth" torch.save(peft_model.state_dict(), checkpoint_path) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值