《Free-Form Image Inpainting with Gated Convolution》阅读笔记

一、论文

摘要: 我们提出了一种生成式图像修复系统，以使用自由形式的蒙版和引导修复图像。 该系统基于从数百万张图像中学习的门控卷积，无需额外的标记工作。 提出的门控卷积解决了将所有输入像素都视为有效像素的普通卷积的问题，通过为所有通道在所有层上每个空间位置的每个通道提供一种可学习的动态特征选择机制来概括部分卷积。 此外，由于自由形式的遮罩可能会出现在具有任何形状的图像中的任何位置，因此为单个矩形遮罩设计的全局和局部GAN都不适用。因此，我们还通过对密集图像斑块应用频谱归一化鉴别器，提出了一个基于斑块的GAN损失，称为SNPatchGAN。 SN-PatchGAN配置简单，训练快速稳定。 自动图像修复和用户指导的扩展结果表明，与以前的方法相比，我们的系统可产生更高质量和更灵活的结果。 我们的系统可帮助用户快速移除分散注意力的物体，修改图像布局，清除水印并编辑脸部
相关工作:

1. 自动图像修复

已经提出了用于图像修复的多种方法。 传统上，基于补丁的[8，9]算法基于低级特征（例如RGB空间上的均方差特征）逐步扩展接近孔边界的像素，以搜索和粘贴最相似的图像补丁。 这些算法在静止的纹理区域上效果很好，但在非静止的图像上常常失败。 此外，Simakov等。 提出了双向相似性综合方法[36]，以更好地捕获和总结非平稳视觉数据。 为了减少搜索过程中存储和计算的高成本，提出了基于树的存储加速结构[25]和随机算法[3]。 此外，通过匹配局部特征（例如图像梯度[2、5]和类似补丁的偏移统计信息[11]），可以改善修复效果。 近来，提出了基于深度学习的图像修复系统以直接预测掩模内的像素值。 这些模型的显着优势是能够学习针对不同语义的自适应图像特征。 因此，它们可以合成更具视觉上合理性的内容，尤其是对于诸如面孔[22、47]，物体[29]和自然场景[15、49]之类的图像。在所有这些方法中，Iizuka等人。 [15]提出了一种具有全局和局部一致性的全卷积图像修复网络，以处理各种数据集上的高分辨率图像[18、32、53]。 但是，这种方法仍然严重依赖于Poisson图像融合与基于修补程序的传统修补结果[11]。 Yu等。 [49]提出了一种端到端的图像修复模型，该模型采用堆叠的生成网络来进一步确保生成区域与周围环境的颜色和纹理一致性。 此外，为了捕获远程空间依赖性，提出了上下文注意模块[49]，并将其集成到网络中以明确地