flux微调方法，搬运

九日卯贝

已于 2025-01-04 15:08:45 修改

阅读量341

点赞数 9

文章标签： AIGC

于 2025-01-04 15:07:19 首次发布

本文链接：https://blog.csdn.net/xvmaoshi/article/details/144930235

版权

Quickstart Guide to Flux.1

CIVITAI

This is how I train LoRAs [Updated with Flux]

kohya_ss ：微调的WEB_UI项目

x-flux : 微调仓库

Invoke： Invoke 是稳定扩散模型的领先创意引擎，可帮助专业人士、艺术家和爱好者使用最新的 AI 驱动技术生成和创建视觉媒体。该解决方案提供业界领先的 WebUI，并可作为多种商业产品的基础。

Training Flux: Optimal Settings for a RTX 3060

kohya_ss ：微调的WEB_UI项目【使用该仓库提供的训练脚本】

训练师：ComfyUI Flux Trainer（https://github.com/kijai/ComfyUI-FluxTrainer）

使用此处修改后的工作流程：https://civitai.com/models/713258? modelVersionId=871334

fluxgym: https://github.com/cocktailpeanut/fluxgym

其他

将 Lora 合并到 Flux 中以获得更好的速度并对其进行量化

Flux Character Caption Differences - Training Diary

Flux Lora 训练低 gpu kohya ssdscript (LINUX)

Train your own FLUX LoRA model (Windows/Linux)

参考网站

https://civitai.com/ 【分享模型训练流程的】

https://civitai.com/search/articles?sortBy=articles_v5&query=flux%20train 【flux训练相关文章】

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九日卯贝

关注关注

9
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

flux 文生图大模型自有数据集 lora微调训练案例

weixin_42357472的博客

09-04

1172

数据集：https://huggingface.co/datasets/quocanh34/itay-hires-lora-dataset-v2。国内https://modelscope.cn/models/ai-modelscope/flux.1-dev/files。模型地址：name_or_path；待支持：https://github.com/kohya-ss/sd-scripts/X-LABS 的https://github.com/XLabs-AI/x-flux。1）首先填写配置文件。

Flux模型系列之如何使用自己的照片微调 Flux.1 模型？估计培训费用Flux 模型的训练在 Nvidia H100 GPU 硬件上运行，在撰写本文时，其费用为每秒 0.001528 美元

iCloudEnd的博客

09-18

885

FLUX.1 是 Black Forest Labs今年夏天发布的一系列文本转图像模型。FLUX.1 模型为开源图像模型树立了新标准：它们可以生成逼真的手、清晰的文本，甚至可以完成搞笑表情包这一异常艰巨的任务。您现在可以使用Ostris 的 AI 工具包在 Replicate 上微调 FLUX.1 [dev]。通过向模型展示一小组示例图像来教模型识别和生成新概念，让您可以针对特定风格、角色或对象自定义模型的输出。Ostris 的工具包使用 LoRA 技术进行快速、轻量级的训练。权重1，cuda类。

参与评论您还未登录，请先登录后发表或查看评论

comfyui flux训练lora模型报Can‘t load tokenizer for ‘openai/clip-vit-large-patch14

修炼之路

10-09

1206

flux训练lora模型报错

2025年必看！最受欢迎的AI绘画Lora模型训练工具大盘点

yihanss的博客

02-17

1419

在SD3.5、Flux、HunyuanVideo等模型获得开源社区支持后，微调或训练Lora就成了一个强需求，相对于之前SD1.5、SDXL时代，从去年开始已经有多款工具支持此类训练，今天就给大家盘点一下模型训练工具，大家可以根据自己的需求选择适合自己的训练工具。

如何一键使用 ComfyUI 进行本地 FLUX.1 LoRA 的训练

m0_71746299的博客

09-11

5662

最近在尝试进行 FLUX.1 的 LoRA 训练，以前没有 SD1.5 和 SDXL 的训练经验，网上看到 FLUX.1 的 LoRA 炼起来效果比较好，就试了几种方案来看看效果。这个文章更多是介绍如何使用 ComfyUI 来进行 LoRA 的训练，一些训练的参数我也还在调试中，后面会陆续更新。在进行 LoRA 训练的时候，数据集也就是用于训练模型的图像，个人认为是模型训练中最重要的部分，需要花大量的时间进行整理、清洗、标注等，好的图像能带来更佳的生成效果，比如可以参考以下这些要素。

FLUX | 轻松掌握FLUX.1 LoRA本地训练秘籍！

小王的储物间

09-11

7381

我们再来看一下 4 种情况下在 1000 步的效果，比较出乎意料的是使用复杂标注的效果反而没有其他两种情况好，比如在第二张图片上，虽然它能保存一部分人物的特征，但是出来的结果仍旧是动漫风格的，我个人觉得是复杂标注里面过多的特征描述反而束缚了模型的发挥，其实 FLUX.1 已经非常聪明了，在训练的时候它已经知道图片的很多特征，没有必要继续进行过多的描述。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

ComfyUI-FluxTrainer：高效模型训练工具

gitblog_00267的博客

04-08

962

ComfyUI-FluxTrainer：高效模型训练工具 ComfyUI-FluxTrainer 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-FluxTrainer ...

【FLUX微调+风格训练】从零免费训练自定义图像风格

进一寸有一寸的欢喜

02-20

362

免费风格微调的完整教程，基于（找图+清理筛选+打标+训练+推理验证

FLUX.1 LoRa 微调

szmars的博客

10-02

2748

微调的好处：可以让你突破换脸这种输入图片的场景约束，微调好的模型可以让你真正的文生图。换脸只能根据输入的图片和视频来生成内容。

FLUX.1 文生图模型微调指南

新缸中之脑

08-21

4848

这些大型图像生成模型（如 FLUX.1 和 Stable Diffusion）在一堆添加了噪声的图像上进行训练，并学习“添加噪声”的反向功能。令人惊讶的是，这竟然是“创建图像”。他们怎么知道要创建哪幅图像？他们以 CLIP 和 T5 等转换器模型为基础，这些模型本身经过大量图像-标题对的训练。这些是语言到图像的编码器：它们学习将图像及其标题映射到高维空间中的相同形状。当您向他们发送文本提示时，例如“公园里读报纸的松鼠”，他们可以将其映射到网格中的像素模式。对于编码器来说，图片和标题是同一回事。

LoRA训练脚本使用kohya-ss的训练器，用于扩散模型.zip

08-08

LoRA训练脚本使用kohya-ss的训练器，用于扩散模型.zip

ComfyUI-FluxTrainer 项目安装与配置指南

gitblog_00809的博客

04-09

608

ComfyUI-FluxTrainer 项目安装与配置指南 ComfyUI-FluxTrainer 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-FluxTrainer ...

kohya-ss/sd-scripts搭建Flux Lora训练环境

计算机视觉领域

02-18

864

文本主要阐述如何使用 kohya-ss/sd-scripts代码仓库，搭建一个Flux lora训练环境，当然可以训练Flux基础模型（finetune）。

ComfyUI工作流来了，6G显存可用的FLUX量化模型

2401_84760527的博客

08-15

5206

前一段时间，SD原班人马离职后，开发出来FLUX，然后将其中两个大模型开源。和SD3相比，FLUX对提示词的理解更到位，画质更精美，尤其是画手方面，和MJ不相上下。在提示词相同的情况下，FLUX完全可以和MJ一较高低。不过，FLUX对硬件配置的要求比较高，量化版本要12G显存（实测8G也可）起步。且速度比较慢，这给很多小显存用户带来了困扰。并且直至现在，WebUI还没有对FLUX的支持，只能在较为专业的ComfyUI上玩。

【comfyui教程】从ComfyUI安装到Flux大模型文生图教程！

2401_84760527的博客

11-13

2787

目前使用 Stable Diffusion 进行创作的工具主要有两个：WebUI 和 ComfyUI。而更晚出现的 ComfyUI 凭借超高的可定制性和复现性迅速火遍全球。早就知道ComfyUI，一直没有机会来尝试，之前写文章讲过 Flux 的文生图质量远超 StableDiffusion，所以就想一起尝试，今天就记录分享一下。Flux 模型的硬件配置要求比较高，Flux 官方有三个版本，一个是 Pro 只能通过 API 调用的方式；第二个是 DEV，开源的质量最好的模型；Schnell 开源的快速版本。

comfyUI工作流-Flux大模型应用/黑神话悟空角色生成（附lora）

玩AI的小胡子-博客

08-21

907

根据经验，将LoRA的强度设置为1.2左右是比较合适的，能够有效地保持悟空形象的同时，又能灵活变化出不同的职业形象。提示词（Prompt）是生成图像的关键，通过准确描述你想要的场景和职业，可以生成你心中理想的悟空形象。值得注意的是，提示词越详细，生成的图像越贴近你所设想的场景。当你掌握了基本操作后，可以尝试更多的职业和场景组合，创造出更加丰富的悟空形象。通过这些提示词的组合，可以无限扩展《黑神话悟空》的形象，打造出属于你自己的悟空世界。提示词：孙悟空穿着西装，站在黑板前面，手里拿着教鞭，像个严肃的老师。

【AIGC】基础篇：VS Code 配置 Python 命令行参数调试debug超详细教程

最新发布

十一逐星的博客

04-25

1073

在 Python 开发过程中，调试是必不可少的环节。VS Code 提供了强大的调试功能，可以帮助开发者轻松地进行代码调试。今天，就让我们一起学习如何在 VS Code 中配置 Python 的命令行调试，即使是小白也能轻松上手。

实时交互式AIGC系统开发：打造多模态数字人全栈解决方案

Vx18664956126的博客

04-25

491

一、实时AIGC系统技术挑战1.1 核心性能指标指标要求实现难点端到端延迟 <500ms 多模块流水线优化多模态同步误差 <100ms 时间戳对齐机制并发处理能力 100+ QPS 分布式推理架构生成内容一致性跨模态对齐联合embedding空间1.2 系统架构设计[语音输入] → [ASR] → [LLM推理] → [语音合成]↓[摄像头输入] → [表情识别] → [面部驱动]↓[传感器数据] → [动作预测] → [骨骼动画]

flux模型微调出图模糊

01-16

### 解决 Flux 模型微调后生成图像模糊问题的方法为了改善 Flux 模型微调后的图像质量，可以考虑采用 LoRA 模型进行进一步优化[^1]。LoRA（Low-Rank Adaptation）是一种高效的参数高效迁移学习方法，能够在保持原有模型性能的同时显著减少训练所需的资源。 #### 使用 LoRA 模型改进图像清晰度通过引入 LoRA 模型来增强 Flux 的表现力： - **低秩矩阵分解**：利用低秩近似技术调整网络权重，使得新学到的知识能够更好地适应特定数据集而不破坏原始预训练成果。 - **自定义损失函数**：设计专门针对锐化效果的损失项加入到总目标函数之中，促使生成器产出更加细腻逼真的视觉特征。 ```python import torch.nn as nn class CustomLoss(nn.Module): def __init__(self, alpha=0.5): super(CustomLoss, self).__init__() self.alpha = alpha def forward(self, output, target): mse_loss = F.mse_loss(output, target) sharpness_penalty = calculate_sharpness_difference(output, target) total_loss = (1 - self.alpha) * mse_loss + self.alpha * sharpness_penalty return total_loss ``` 此外，还可以探索其他先进的图像处理技术和框架，如基于注意力机制的空间变换网络(STN)，这些都可以帮助提升最终输出的质量。对于具体操作指南和更多细节，请参阅有关 LoRA 和 Flux 结合使用的文档资料。