Global and Local Attention-Based Free-Form Image Inpainting

S. M. Nadim Uddin and Yong Ju Jung *

Abstract: Deep-learning-based image inpainting methods have shown significant promise in both rectangular and irregular holes. However, the inpainting of irregular holes presents numerous challenges owing to uncertainties in their shapes and locations. When depending solely on convolutional neural network (CNN) or adversarial supervision, plausible inpainting results cannot be guaranteed because irregular holes need attention-based guidance for retrieving information for content generation. In this paper, we propose two new attention mechanisms, namely a mask pruning-based global attention module and a global and local attention module to obtain global dependency information and the local similarity information among the features for refined results. The proposed method is evaluated using state-of-the-art methods, and the experimental results show that our method outperforms the existing methods in both quantitative and qualitative measures.

摘要：

基于深度学习的图像修复方法在矩形孔和不规则孔中都显示出了巨大的前景。然而，由于不规则孔洞的形状和位置的不确定性，修复面临着许多挑战。当仅依靠卷积神经网络 (CNN) 或对抗性监督时，无法保证合理的修复结果，因为不规则的孔洞需要基于注意力的指导来检索内容生成的信息。在本文中，我们提出了两种新的注意力机制，即基于掩码剪枝的全局注意模块和全局局部注意模块来获得特征之间的全局依赖信息和局部相似性信息，以获得细化的结果。所提出的方法使用最先进的方法进行评估，实验结果表明我们的方法在定量和定性度量上都优于现有方法。

左侧为遮掩的图片，中间是模型生成的结果，右侧是gt

we propose two novel attention modules, namely a mask pruning-based global attention module that calculates the dependencies among features at the global level (i.e., feature maps) with a mask pruning mechanism, and a global and local attention module that calculates both the global dependencies and local similarities at the local level (i.e., image patches). For brevity, the proposed mask pruning-based global attention module and global and local attention module are referred as MPGA module and GLA module respectively throughout the paper.

我们提出了两个新的注意模块，即基于掩码修剪的全局注意模块，该模块使用掩码修剪机制计算全局级别(即特征映射)的特征之间的依赖关系，以及一个全局和局部注意模块，用于计算局部级别(即图像补丁)的全局依赖关系和局部相似性。为简洁起见，本文提出的基于掩码剪枝的全局注意模块传感器全局和局部注意模块,分别称为 MPGA 模块和 GLA 模块。

具体来说，我们采用了一种类似于[14,16,20]中的粗到细的方法，将修复过程分为两个阶段:

(1)对缺失区域进行粗估计或粗估计的粗网络;

(2)细化网络，对生成的粗内容进行细化。

该模型分为两个阶段，即粗网络和精化网络。粗网络和精炼网络都有两个分支，即规则分支和注意分支。粗糙网络计算特征之间的全局相关性，并使用所提出的MPGA模块修剪掩模特征，生成粗略或粗略的修复图像。细化网络以粗略输出作为输入，并使用所提出的GLA模块计算全局和局部相似性，并产生细化的修复结果。

由于粗网络对整体结构进行了粗略估计，因此在这个阶段整合全局信息以实现稳健、更稳定的结构一致性是合乎逻辑的。我们将所提出的MPGA模块集成到粗网络的注意分支中，以提供全局上下文信息。此外，所提出的 MPGA 结合了掩码更新机制，该机制基于修剪全局级别（即特征图）中不太重要的特征。因此，来自所提出的 MPGA 模块的最终特征图包含用于重建粗略估计的最重要特征。细化网络将粗输出作为输入，并根据全局和局部注意的计算生成缺失区域的详细和细化输出。由于细化网络处理生成细化输出，我们将我们提出的 GLA 模块集成到细化网络的注意力分支中。

Coarse Network Architecture/粗网络

Refinement Network/精炼网络

拟建GLA模块概述。我们提出的模块采用前景和背景特征图，并计算全局注意力和局部相似性，以细化粗略输出。然后，它根据全局注意力机制计算修剪后的特征，并根据内积计算局部相似性。然后，它使用修剪后的面片来重建最终的特征图。

Discriminator

我们设计了一种基于卷积神经网络的鉴别器，该鉴别器以修复的图像和各自的地面实况作为输入，并生成两个形状为Rc×h×w的特征体积，其中C、h和w分别表示通道、高度和宽度。鉴别器由五个卷积层组成，具有5×5个核，步长为2，用于捕获特征统计[46]。我们将GANs应用于鉴别器[16]生成的最终特征体积中的每个元素。鉴别器计算生成的特征体积中的特征是真实的还是虚假的概率。使用基于CNN的鉴别器，输出图中每个点的感受野都可以覆盖输入图像，如图5所示。在鉴别器中加入了丢弃层，以允许模型具有随机性。

Objective Function/目标函数