文献阅读2021.1.17

BachGAN: High-Resolution Image Synthesis from Salient Object Layout（Li Y, Cheng Y, Gan Z, et al. BachGAN: High-Resolution Image Synthesis from Salient Object Layout[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 8365-8374.）
解决的问题： 通过给定显著物体的布局，生成背景和匹配的前景从而完成绘图。①如何在不输入分隔图的情况下生成细粒度的细节和逼真的纹理②如何创建背景并将其无缝编织到独立对象中。
核心思路：提出了背景幻觉生成对抗网络（BachGAN），该网络首先通过背景检索模块从大型候选库中选择一组分割图，然后通过背景融合模块对这些候选布局进行编码，从而为给定对象幻化合适的背景。通过动态生成幻觉的背景表示，我们的模型可以合成具有真实感前景和整体背景的高分辨率图像。

创新点：通过给定显著物体，通过布局进而实现高质量图像的生成，提出的BachGAN在生成图像的视觉保真度和输出图像与布局之间的视觉对齐度方面取得很好的效果。
借鉴点（展望）： 本文提出的BachGAN方法具有很好的借鉴意义，通过给定图像中的核心物体，可以匹配生成前后景，这样可以生成很好且数量更多的图像，可以对于生成的图像进而进行下一步比如是否符合特定的美学方面的研究，这就类似于生成图像的研究。
（2）Improving the harmony of the composite image by spatial-separated attention module（Cun X, Pun C M. Improving the harmony of the composite image by spatial-separated attention module[J]. IEEE Transactions on Image Processing, 2020, 29: 4759-4771.）
解决的问题：拼接区域与背景之间的不和谐外观会降低图像质量。解决了图像协调问题：给定一个拼接图像和一个拼接区域的遮罩，尝试使粘贴区域的“样式”与背景（非拼接区域）保持一致。
核心思路： 先前的方法一直专注于直接通过神经网络进行学习。在这项工作中，我们从经验观察开始：仅在拼接图像和协调结果之间的拼接区域中发现差异，而它们在非拼接区域中共享相同的语义信息和外观。在本文中，提出了一种新的图像协调方法。具体来说，设计了一个名为S2AM的新关注模块，以将图像协调任务与Unet骨干网络相匹配。此外，通过插值空间注意力模块和对S2AM模块的注意力损失来协调无遮罩的图像。这个想法源自最初的意图，即内容的相似性和拼接图像与统一目标之间的拼接区域之间的差异。除了图像协调外，所提出的注意力模块还可以轻松地适应具有区域差异的其他计算机视觉任务。

【我们方法的基本思想。在图像协调任务中，我们认为拼接图像（左）和协调图像（右）在非拼接区域具有相同的高级特征和外观。差异主要来自拼接区域的外观。因此，我们设计S2AM模块来学习这些差异，并确保底层功能中非拼接区域的一致性。详细地讲，在硬编码蒙版的限制下，我们使用几个SE块重新加权编码的特征并以不同的方式学习空间位置。由于主网络可确保高级功能的一致性，因此将该模块插入到编码器-解码器结构的较粗略功能中。】

创新点： 提出一种新颖的注意力模块----空间分离注意力模块（S2AM），该模块可以分别学习被遮盖区域与其他区域的特征图，并且可以在不使用特征遮罩的情况下协调合成图像。
借鉴点（展望）：进一步了解S2AM模块的细节，以及本文中涉及的注意力机制，在图像生成方面是否可以借鉴。