【深度学习】Collage Diffusion，拼接扩散，论文，实战

论文：https://arxiv.org/abs/2303.00262

代码：https://github.com/VSAnimator/collage-diffusion

Abstract

基于文本条件的扩散模型能够生成高质量、多样化的图像。然而，文本通常对于所需的目标图像来说是一个模糊的说明，因此需要额外用户友好的控制来进行基于扩散的图像生成。在本文中，我们关注对于具有多个物体的场景，实现对图像输出的精确控制。用户通过定义一个拼贴来控制图像生成：一个文本提示与有序的图层序列相配对，其中每个图层被定义为一个RGBA图像和一个相应的文本提示。我们引入了拼贴扩散，一种拼贴条件的扩散算法，使用户能够同时控制场景中物体的空间排列和视觉属性，并且还能够编辑生成图像的个别组件。为了确保输入文本的不同部分对应于输入拼贴图层中指定的不同位置，拼贴扩散通过使用图层的阿尔法遮罩修改了文本-图像交叉注意力。为了保持文本中未指定的单个拼贴图层的特性，拼贴扩散为每个图层学习了专门的文本表示。

拼贴输入还能够实现基于图层的独特控制，使用户可以对最终输出进行精细的控制：用户可以逐层控制图像的协调