【AI论文】PhotoDoodle：从少量成对样本中学习艺术图像编辑技巧

本文链接：https://blog.csdn.net/m0_66899341/article/details/146136774

摘要：我们推出了PhotoDoodle，这是一个创新的图像编辑框架，旨在通过让艺术家在照片上叠加装饰元素来简化照片涂鸦的过程。照片涂鸦颇具挑战性，因为插入的元素必须与背景无缝融合，这要求实现逼真的混合、透视对齐和上下文一致性。此外，背景必须保持不失真，并且要从有限的训练数据中高效地捕捉艺术家的独特风格。以往的方法主要关注全局风格迁移或区域修复，无法满足这些要求。我们提出的PhotoDoodle方法采用两阶段训练策略。首先，我们使用大规模数据训练一个通用图像编辑模型OmniEditor。随后，我们使用艺术家精选的小型前后图像对数据集，通过EditLoRA对该模型进行微调，以捕捉不同的编辑风格和技术。为了提高生成结果的一致性，我们引入了一种位置编码重用机制。此外，我们还发布了一个包含六种高质量风格的PhotoDoodle数据集。大量实验证明，我们的方法在定制化图像编辑方面表现出色且鲁棒性强，为艺术创作开辟了新的可能性。Huggingface链接：Paper page，论文链接：2502.14397

研究背景和目的

研究背景

随着扩散模型（Diffusion Models）的兴起，图像创作和控制进入了一个新纪元。通过预训练-微调（Pretrain-Finetune）的方法，研究人员在定制化图像生成方面取得了显著进展，这些进展涵盖了身份保持、艺术风格化和主题一致性等多个应用领域。然而，尽管定制化图像生成领域取得了诸多成就，但定制化图像编辑，尤其是艺术性的图像编辑，仍然是一个亟待探索的领域。现有的图像编辑方法主要集中在内容创作上，而对于智能的上下文感知编辑，尤其是艺术性的增强，研究相对较少。这种不平衡与日益增长的对精确图像编辑工具的需求形成了鲜明对比。

照片涂鸦（Photo Doodling）作为定制化图像编辑中的一个典型挑战，要求艺术家通过战略性地整合装饰元素（如风格化的线条、装饰性图案）和上下文感知的修改来增强背景照片，以实现个性化的美学效果。传统的照片涂鸦工作流程涉及多种艺术技巧，如局部风格化、装饰性轮廓渲染、语义感知的对象插入和装饰性增强。尽管这些过程展示了独特的艺术签名和战略性的设计逻辑，但其手动执行需要耗费大量时间，从根本上限制了生产可扩展性和大规模配对训练数据集的制作，而这些数据集对于数据驱动的方法至关重要。

自动化这些工作流程面临着三个相互关联的技术障碍：首先，和谐整合要求生成的装饰元素必须同时满足与背景环境的透视对齐和语义一致性；其次，严格的背景保护需要机制来防止意外的变化，如颜色分布偏移和纹理模式改变；最后，高效风格提炼必须从稀疏的成对示例（30-50个图像对）中提取艺术家的独特编辑模式。这些综合挑战导致现有方法无法全面解决这一问题。

研究目的

针对上述挑战，本研究旨在提出一种创新的图像编辑框架——PhotoDoodle，该框架能够从少量成对样本中学习艺术图像编辑技巧，同时保持背景的一致性。具体而言，PhotoDoodle旨在解决以下关键问题：

无缝融合：确保插入的装饰元素与背景无缝融合，实现逼真的混合、透视对齐和上下文一致性。
背景保护：在编辑过程中保持背景不失真，防止意外的颜色或纹理变化。
风格提炼：从有限的训练数据中高效地捕捉艺术家的独特编辑风格和技术。
高效编辑：提供一种高效、用户友好的编辑工具，满足艺术家对精确图像编辑的需求。

研究方法

系统设计

PhotoDoodle基于扩散变换器（Diffusion Transformers，DiT），采用两阶段训练架构。在第一阶段，我们将一个预训练的文本到图像DiT模型进化为一个通用图像编辑器（OmniEditor），通过两个关键创新实现：

位置编码克隆（Positional Encoding Cloning）：通过提供坐标感知的提示来保持空间保真度。
无噪声条件范式（Noise-Free Conditioning Paradigm）：提供源图像的非失真信息。

这一基础阶段在350万个图像编辑对上进行训练，建立了强大的通用编辑能力。

在第二阶段，我们引入了一个EditLoRA模块，该模块通过低秩适应（Low-Rank Adaptation，LoRA）从仅30-50个样本对中提取艺术家特定的编辑模式，从而在保持基础模型能力的同时实现高效的风格定制。这种共同设计的架构确保了艺术灵活性和严格一致性之间的平衡。

关键技术

位置编码克隆：在扩散变换器中，位置编码对于保持空间结构至关重要。我们通过克隆源图像的位置编码到目标图像中，确保编辑结果尊重原始图像的空间结构，消除传统方法中常见的重影伪影和对齐错误。
无噪声条件范式：在生成目标图像时，我们保持源图像（cI）处于无噪声状态。这一设计选择通过其操作双重性实现了两个目标：首先，通过保持cI的无噪声状态，我们确保了高频纹理和精细结构细节的保留，从而防止了在迭代去噪过程中的退化。其次，多模态注意力机制足够灵活，可以选择从源图像复制或从指令生成新内容，使模型学会仅操作指定的目标区域。
EditLoRA：受低秩适应技术的启发，EditLoRA通过冻结预训练模型权重并插入可训练的低秩分解矩阵A和B，仅微调一小部分参数，显著降低了过拟合的风险，同时保留了预训练模型的大部分表达能力。在PhotoDoodle中，OmniEditor在大规模配对数据集上进行训练，而EditLoRA则专注于模仿单个艺术家在创建照片涂鸦时的风格和策略。

数据集构建

为了训练和评估PhotoDoodle，我们与专业艺术家和设计师合作，创建了第一个PhotoDoodle数据集。该数据集包含六种高质量风格（卡通怪兽、手绘轮廓、3D效果、流动色块、平面插画和云彩素描）和超过300个照片涂鸦样本。每个样本包括一张编辑前的照片和一张编辑后的照片涂鸦，展示了艺术家对照片的独特修改，如局部风格化、装饰性线条、新添加的对象或对现有元素的修改。

研究结果

定性评估

在通用图像编辑任务中，与最先进的方法（如InstructP2P、MagicBrush和SDEdit）相比，OmniEditor在保持图像一致性和最小化意外更改方面表现出色。在定制图像编辑任务中，PhotoDoodle显著优于基线方法，生成的输出质量高，与原始艺术意图高度一致，同时避免了不希望的修改。

定量评估

我们使用CLIP Score、GPT4-o评估的GPT Score和CLIP img Score作为评估指标。在通用图像编辑任务中，PhotoDoodle在所有指标上均优于基线方法。在定制图像编辑任务中，尽管一些模型未能产生有意义的编辑，导致CLIP img Score较高，但PhotoDoodle在GPT Score和CLIP Score上仍具有明显优势，这两个指标评估了生成内容与艺术家原始作品在一致性和质量方面的关系。

用户研究

我们进行了一项用户研究，以进一步证明所提出方法的优越性。30名参与者通过在线问卷对PhotoDoodle的输出与基线方法进行了评估。评估标准包括整体偏好、指令遵循和编辑后图像与原始图像的一致性。结果显示，在通用图像编辑和定制图像编辑任务中，PhotoDoodle均优于其他基线方法。

研究局限

尽管PhotoDoodle在定制化图像编辑方面表现出色，但它也存在一些局限性：

数据依赖性：PhotoDoodle依赖于收集数十个配对数据集（编辑前后的图像）以及使用LoRA进行数千步训练。数据收集过程可能具有挑战性，因为配对图像并不总是容易获得。
泛化能力：尽管我们在六种不同风格上进行了实验，但PhotoDoodle的泛化能力仍需进一步验证，特别是在面对全新或极端复杂的艺术风格时。
计算成本：尽管EditLoRA通过低秩适应显著降低了计算成本，但训练OmniEditor仍然需要大量的计算资源。