分享AIGC前沿论文系列一 对标DragonGAN的新方法 DragonDiffusion

论文概要

DragonDiffusion: 一种新的图像编辑方法，可以在扩散模型 上进行拖拽式操作，实现了对生成图像或真实图像的各种编辑模式，例如对象移动、对象大小调整、对象外观替换和内容拖拽

论文摘要

尽管现有的大规模文本到图像 (T2I) 模型能够根据详细的文本描述生成高质量的图像，但它们通常缺乏精确编辑生成的或真实图像的能力。在本文中我们提出了一种新颖的图像编辑方法 DragonDiffusion，可以在扩散模型上进行拖拽式操作。 具体来说，我们基于扩散模型中中间特征的强对应性构建分类器指导。它可以通过特征对应损失将编辑信号转换为梯度，以修改扩散模型的中间表示。 基于此指导策略，我们还构建了多尺度指导来考虑语义和几何对齐。 此外，还添加了跨分支自注意力以保持原始图像和编辑结果之间的致性。 我们的方法通过有效的设计，实现了对生成图像或真实图像的各种编辑模式，例如对象移动、对象大小调整、对象外观替换和内容拖动。 值得注意的是，所有编辑和内容保存信号都来自图像本身，模型不需要微调或额外的模块。

论文细节

获取方式

关注微信公众号：CV算法小屋 发送：DragonDiffusion 获取代码和论文