在之前的文章中为大家介绍了最新的Flux Tools 的Fill 模型,来精准的实现图像局部重绘,请参考:
那么今天再为大家介绍一款最新的,异常强大的
,使用预先训练的流模型进行无反转的基于文本的编辑:FlowEdit
。
同时为大家提供了对比 FlowEdit
vs FluxFill
工作流,大家可以根据自己的情况自行选择使用。
FlowEdit 简介
FlowEdit
:使用预先训练的流模型进行无反转的基于文本的编辑
使用预先训练的文本到图像 (T2I) 扩散/流模型编辑真实图像通常涉及将图像反转为其相应的噪声图
。然而,反演本身通常不足以获得满意的结果
,因此许多方法另外干预采样过程。此类方法取得了改进的结果,但不能在模型架构之间无缝转移。在这里,介绍一款 FlowEdit
,一种用于预训练 T2I 流模型的基于文本的编辑方法,它是免反演、免优化且与模型无关的
。我们的方法构建了一个直接映射源分布和目标分布(对应于源文本提示和目标文本提示)的 ODE,并实现了比反演方法更低的传输成本
。正如我们通过 Stable Diffusion 3 和 FLUX 所说明的,这会带来最先进的结果。
有用链接
项目地址: https://github.com/fallenshock/FlowEdit
官方地址: https://matankleiner.github.io/flowedit/
在线Demo: https://huggingface.co/spaces/fallenshock/FlowEdit
论文: https://arxiv.org/abs/2412.08629
官方示例图:
SD3, Flux, FlowEdit 对比图
带有 CAFE 标志的加油站 → 带有 CVPR 标志的加油站
一只站在沼泽中的大老虎 → 一只站在沼泽中的大狮子
一座高大的白色灯塔,被强光照亮→大本钟,被强光照亮
一只栖息在树枝上的五颜六色的鹦鹉 →一只栖息在树枝上的灰鸽子
水果装饰的三层蛋糕 → 草莓装饰的三层蛋糕
FlowEdit ComfyUI 插件安装
在ComfyUI中实现 FlowEdit
功能的插件是: FluxTapoz
,
插件地址: https://github.com/logtd/ComfyUI-Fluxtapoz
该插件不仅实现了FluxEdit 功能,还实现了其他图像编辑功能,以及区域提示词功能,十分的强大,推荐安装
。关注我,后期一一为大家介绍。
该插件已经收录到Manager,搜索:fluxtapoz
进行安装:
安装Python依赖:
cd ComfyUI/custom_nodes/ComfyUI-Fluxtapoz
../../python/python.exe -m pip install -r requirements.txt
FlowEdit 工作流
工作流
重要节点说明
CLIP 文本编码器:
- • 上面CLIP输入原图要改的提示词,链接到Flow Edit Guider节点的: source_cond
- • 下面CLIP输入:想要改成啥的提示词,链接到Flow Edit Guider节点的: target_cond
Flow Edit Sampler 节点
skip_steps 参数:
- • 1: 较大的改变,会大程度的修改原图
- • 2-3: 适中修改
- >=4:较小的改变
官方默认是4。
示例1:改变文字
source_cond 提示词:text: "Atomic Community"
target_cond 提示词:text: "wanghk let's go!"
skip_steps = 4
可以看到对于其他部分,FlowEdit也会不同程度的小修改,程度大小取决于上面介绍的,skip_steps 参数
示例2:改变风格
简笔画转迪斯尼风格
source_cond 提示词:A black and white line drawing style of a woman wearing a long skirt, sitting
target_cond 提示词:A cartoon Disney style woman in a long dress sitting, colorful
skip_steps = 4
skip_steps = 3
skip_steps = 2
skip_steps = 1
的就不测试了,差不多相当于重新画了一张图,跟原图的相关性很小。
示例3:改变主体
猫咪变老虎
source_cond 提示词:An anthropomorphic cat wearing a black suit, red tie, and red shorts
target_cond 提示词:An anthropomorphic tiger wearing a black suit, red tie, and red shorts
猫咪变狗子
FlowEdit vs FluxFill 对比工作流
工作流
示例:改变文字
总结
如果你只是想进行图片某部分的编辑、替换或增加,或者图片的扩图,推荐用局部重绘FluxFill。这样除了遮罩部分,其他部分不会改变。
如果你想进行图片大范围的改变,或风格的改变,那么推荐用FlowEdit。可以根据需求调节skip_steps
参数,来决定变更程度。多多少少会有些改变的。
当然你也可以两者同时使用,跳出图效果最好的。
完
如果本文帮助了你,请帮忙点赞+关注+在看
,我会持续分享更多好文章,感谢。
公众号: DevOpsAigc云时代
TODO
工作流已上传到哩咘哩咘,有需要的可以登录进行下载:
https://www.liblib.art/modelinfo/7370753e0beb4004b4e2555818681c90
你也可以关注我的公众号,发送指令来自助获取工作流:
指令: FlowEdit_FluxFill