基于Rectified Flow FLUX的图像编辑方法 RF-Solver

Diffusion Models专栏文章汇总：入门与实战

前言：现在越来越多的开源模型是基于Rectified Flow，特别是FLUX和HunYuan Video，但是Rectified Flow inversion的性质和之前有所不同，这篇博客解读一下如何使用Rectified Flow对FLUX进行编辑。

目录

RF直接逆向会出现问题

为什RF直接逆向会出现问题？

论文核心贡献

什么是逆向操作？

RF-Solver

图片和视频编辑

---

RF直接逆向会出现问题

论文先放出了一张图，说直接逆向会有问题：

尽管在基本的T2I和T2V生成任务中取得了显著的成功，但很少有研究探讨基于RF的模型在各种下游任务中的表现。当直接应用原始RF进行逆向操作时，我们观察到它无法忠实地从源图像或视频中重建出目标。示例见图1中的任务1和任务2（第三行）。在图像逆向中，重建图像中物体（例如蛋糕）的位置和个体（例如儿童）的外观与源图像有显著差异。视频逆向的性能更差，重建视频中存在明显的失真。

逆向和重建的不准确性将严重限制RF模型在其他基于逆向的下游任务。