三步训练一个Flux的Lora模型

原创 已于 2024-09-10 22:30:13 修改 · 2.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Lora #模型训练 #Flux #AI绘画 #ComfyUI #ai_toolkit

于 2024-09-10 13:43:11 首次发布

本文收录于《AI绘画从入门到精通》专栏，专栏总目录： 点击这里。

目录

摘要

一、项目部署

二、Lora 模型训练

1. 准备图片素材

2. 模型训练

三、Lora 模型测试

四、总结

五、参考内容

摘要

        基于自身提供的图片数据集，训练出一个能够生成具有自身图片风格的基于 Flux 的 Lora 模型。

一、项目部署

        待更新...

二、Lora 模型训练

1. 准备图片素材

           图片素材地址：百度网盘链接 

2. 模型训练

           1）输入本地生成训练

最低0.47元/天 解锁文章

200万优质内容无限畅学
如何使用AI Toolkit在自定义数据上训练FLUX LoRA模型
2501_90323865的博客
06-12 71
FLUX.1确实是向前迈出的重要一步，我们个人在各种艺术任务中都离不开它。它正迅速取代其他图像生成器，这是有充分理由的。本教程展示了如何使用云端GPU为FLUX.1微调LoRA模型，希望读者通过本文介绍的技术，了解如何训练自定义LoRAs。期待未来能为大家带来更多关于FLUX.1的博客文章！
SD或flux训练LORA中素材的正则化是什么？该如何规范使用？
m0_65079043的博客
05-02 722
数量比例：一般为训练数据集的 1:1 到 1:10，根据任务的复杂性进行调整。 风格差异：确保风格差异适中，避免过大差异引发过拟合。 超参数调整：调整正则化强度与学习率等超参数，确保正则化不影响模型的主学习目标。 影响：正则化数据集的增加通常能提升泛化能力，但过多会影响训练效果，特别是模型可能会偏向于正则化数据集的特征。
FLUX本地Lora训练
王念的博客
08-19 3775
前言 目前 Flux 出现了 3 个训练...
终于不用为GPU算力发愁了，FLUX LoRA训练一键启动！(附模型）
2401_84830464的博客
09-26 2151
FLUX 是一个开源的全新的图像生成器，可以生成逼真的超现实图像，人们称它为 Midjourney 的终结者，下一代 Stable Diffusion 的替代品。
Flux 模型 LoRA 训练
Liudef06的博客
03-26 1618
训练lora
大模型隐空间推理论文阅读笔记
pku_langzi的博客
08-17 1044
coconut等大模型隐空间推理阅读笔记
FLUX | 轻松掌握FLUX.1 LoRA本地训练秘籍！
小王的储物间
09-11 8564
我们再来看一下 4 种情况下在 1000 步的效果，比较出乎意料的是使用复杂标注的效果反而没有其他两种情况好，比如在第二张图片上，虽然它能保存一部分人物的特征，但是出来的结果仍旧是动漫风格的，我个人觉得是复杂标注里面过多的特征描述反而束缚了模型的发挥，其实 FLUX.1 已经非常聪明了，在训练的时候它已经知道图片的很多特征，没有必要继续进行过多的描述。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。
人工智能使用AIToolkit训练FLUX.1 KONTEXT LORA模型：环境搭建与训练流程详解
最新发布
07-04
内容概要：本文档是关于使用AIToolkit训练FLUX.1 KONTEXT LORA的教程，详细介绍了从环境搭建到模型训练的全流程。首先，需要安装miniconda，并创建和激活python3.12的环境。接着，依次安装Git和NodeJS。然后，通过...
flux 文生图大模型 自有数据集 lora微调训练案例
weixin_42357472的博客
09-04 1397
数据集：https://huggingface.co/datasets/quocanh34/itay-hires-lora-dataset-v2。国内https://modelscope.cn/models/ai-modelscope/flux.1-dev/files。模型地址：name_or_path；待支持：https://github.com/kohya-ss/sd-scripts/X-LABS 的https://github.com/XLabs-AI/x-flux。1）首先填写配置文件。
如何一键使用 ComfyUI 进行本地 FLUX.1 LoRA 的训练
m0_71746299的博客
09-11 6564
最近在尝试进行 FLUX.1 的 LoRA 训练，以前没有 SD1.5 和 SDXL 的训练经验，网上看到 FLUX.1 的 LoRA 炼起来效果比较好，就试了几种方案来看看效果。这个文章更多是介绍如何使用 ComfyUI 来进行 LoRA 的训练，一些训练的参数我也还在调试中，后面会陆续更新。在进行 LoRA 训练的时候，数据集也就是用于训练模型的图像，个人认为是模型训练中最重要的部分，需要花大量的时间进行整理、清洗、标注等，好的图像能带来更佳的生成效果，比如可以参考以下这些要素。
手把手教你训练自己的FLUX Lora，从此实现写真自由
Misdirection_XG的博客
12-25 1619
最近有小伙伴问我，提供一张照片怎么实现生成自己想要的图片，上次写过一篇文章，专门实现这个效果，仅需一张照片，不需要训练lora，就可以实现生成一致性的人物，上次的方案对于虚拟角色很好，但是生成的人物跟原人物脸部还是有点偏差，我估计是因为训练数据少了导致的。所以，今天专门写一篇简单易操作的教程，通过自己照片训练一个自己专属的FLUX模型，利用好FLUX的超强生图能力，从此想生成啥生成啥，实现写真自由。等待一会，打标完成，依次点击每张图片，把自动生成文字删掉，然后只写 触发词、1gril或者1boy，如图，
flux文生图 选择单词的方式进行生成图像
二分掌柜的
01-10 294
flyfish
Flux-lora训练，画风训练
qq_65688364的博客
04-28 672
关于训练画风和打标过程的心得分享...
12G VRAM 即可训练 Flux LoRA
weixin_51674085的博客
09-09 768
在 Low VRAM 本地机器上训练 Flux LoRA 最简单的方式，作者在随后的更新中又优化了性能，并表示最低可能只需要 8GB VRAM（未经测试），支持 12GB、16GB、24GB VRAM 进行 LoRA 训练。需要至少 24GB VRAM，该项目底层基于。提供了非常易用的界面，比起。
FLUX.1-dev模型本地训练&推理教程（GPU/NPU）
记录个人日常所学所思
10-21 6118
Flux.1-dev多模态模型本地训练&推理（GPU&NPU环境）保姆教程
Flux—lora训练
qq_65688364的博客
04-17 825
目前训练的是HelloKitty，尝试的打标方式：（1）打全标+触发词HelloKitty（tips：flux本身就对HelloKitty就有一定的认知，所以会将其和我们要训练的角色进行融合，不过生成的多为3d写实的画风，我们要训练的风格是2d的卡通风格，类似于上色简笔画）（2）删除人物特征+触发词（HKT，asdw，HelloKitty：前两个触发词没怎么学到HelloKitty的特征进去）（3）仅打标打一个触发词（暂时没有学习到模型中去，还需后续调参）
【AI辅助设计】没错！训练FLUX LoRA就这么简单！
ice_99的博客
10-29 2212
得益于开源社区的力量，在各位大佬的努力下，现在16G VRAM的家用电脑也可以训练FLUX的LoRA了 👏。 今天我使用`fluxgym`这个方法，训练LoRA，并记录过程。
flux lora训练
02-23
### 使用 Flux 和 LoRA 进行机器学习模型训练 #### 准备环境与工具 为了能够顺利地使用 Flux 和 LoRA 来进行模型训练，首先需要准备好相应的开发环境。这通常意味着要安装 Python 及其必要的库文件，比如 PyTorch 或 TensorFlow 等深度学习框架。对于特定于 Flux 的情况，则需按照官方文档指导完成 Julia 编程语言及其依赖项的设置。 #### 加载预训练模型并应用LoRA微调 当准备就绪之后，可以从 Hugging Face Hub 下载预先训练好的基础模型作为起点[^2]。接着利用 LoRA 技术对该模型实施低秩适配(low-rank adaptation)，即只更新部分参数而非整个网络结构中的所有权重值。这种方法不仅提高了效率而且减少了过拟合的风险。 ```python from peft import LoraConfig, get_peft_model import torch.nn as nn model = ... # Load your base model here. config = LoraConfig( r=8, lora_alpha=32, target_modules=["q", "v"], lora_dropout=0.05, ) peft_model = get_peft_model(model, config) ``` #### 构建数据集用于训练过程 构建适合当前任务的数据集至关重要。如果目标是创建像“黑神话悟空”这样的角色图像生成器，则应收集大量与此主题相关的高质量图片样本，并将其整理成可用于训练的形式。这些数据应当被划分为训练集、验证集以及测试集三大部分以便后续评估模型性能[^3]。 #### 开始训练流程 一旦上述准备工作全部完成后就可以启动实际的训练环节了。此阶段涉及到定义损失函数(loss function)、优化算法(optimizer algorithm)以及其他超参的选择。值得注意的是，在每次迭代过程中都要保存好最佳版本的模型副本至指定路径下以供将来部署或进一步改进之用[^1]。 ```python output_dir = "./ai-toolkit/output" for epoch in range(num_epochs): ... if best_loss > current_loss: best_loss = current_loss checkpoint_path = f"{output_dir}/best_model.pth" torch.save(peft_model.state_dict(), checkpoint_path) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值