Cross-Image Attention for zero-shot appearance transfer

 

1.Introduction

探讨appearance transfer的背景下进行图像操作，目标是将一个图像中概念的视觉外观转移到另一个图像中存在的概念上，例如，将斑马的外观转移到长颈鹿上，完成这一任务需要首先将长颈鹿和斑马之间在语义上相似的区域进行关联，然后通过这些关联转移，而不改变长颈鹿的结构。去噪网络的交叉和自注意力机制隐式的编码了从生成图像中提取的强语义信息，基于这些自注意力层中的qkv，采用跨不同图像的自注意力机制，当应用于具有不同形状和结构的不同主题的图像时，这种夸图像注意力在两个图像中形成相似语义区域之间的强关联。

更具体的说，给定一张外观图和一张结构图，首先将这两张图反向转换到一个预训练的文本到图像的扩散模型的隐空间，然后在去噪过程中的每个时间步，通过将与结构图相对应的q乘以外观图像的k来计算修改后的自注意力图，这种跨图像操作在两个图像之间建立了隐式的语义对应关系，而无需额外的监督，将输出的跨图像的注意力图与外观图的v相乘，就可以准确的外观图中的每个像素转移到结构图中相应的，语义相似的像素上。

仅依靠它往往不足以实现两个图像