Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations

Hongyu Liu1, Bin Jiang1?, Yibing Song2?, Wei Huang1, and Chao Yang11 College of Computer Science and Electronic Engineering, Hunan University, Changsha, China{kumapower,jiangbin,hwei,yangchaoedu}@hnu.edu.cn2 Tencent AI Labyibingsong.cv@gmail.com

在本文中，我们提出了一种相互编码器-解码器 CNN 来联合恢复两者。我们使用来自编码器的深层和浅层的 CNN 特征来分别表示输入图像的结构和纹理。深层特征被发送到结构分支，浅层特征被发送到纹理分支。在每个分支中，我们填充 CNN 特征的多个尺度的孔。两个分支中填充的 CNN 特征被连接起来，然后均衡。在特征均衡过程中，我们首先重新加权通道注意力，并提出了一个双边传播激活函数来实现空间均衡。为此，结构和纹理填充的 CNN 特征相互受益，以在所有特征级别表示图像内容。我们使用均衡特征通过跳过连接来补充解码器特征以生成输出图像。在基准数据集上的实验表明，所提出的方法可以有效地恢复结构和纹理，并优于最先进的方法。

主要贡献：

-我们提出了一种用于图像修复的相互编码器-解码器网络。学习浅层的CNN特征来表示纹理，深层的特征表示结构。

-我们提出了一种特征均衡方法，使结构和纹理特征彼此一致。我们首先重新加权特征拼接后的通道，并提出了一个双边传播激活函数，使整个特征保持一致。

-在基准数据集上的广泛实验表明，所提出的修复方法在去除结构和纹理特征不一致的模糊和伪影方面的有效性。所提出的方法优于最先进的修复方法。

模型整体流程图：

1/基础框架 CNN+残差模块 就很像unet结构hhh

2/编码器的深层特征被重新组织为结构特征Fst，而浅层特征被重新组织为纹理特征Fte。

3/均衡的特征在不同的 CNN 特征级别包含一致的结构和纹理特征，并通过跳跃连接补充解码器以生成输出图像。

Feature Equalizations特征均衡:

双边传播激活（BPA）函数流程图：

Implementations. Fig. 3 shows how bilateral propagation operates in the network. The range step corresponds to the computation of yr i in eq. 3 and the spatial step corresponds to ys i in eq. 2. During range computation, the operations until the element-wise multiplication P1 represent eq. 5 at all spatial locations. We use the unfold function in PyTorch to reshape the feature to vectors (i.e.,HW × 3 × 3 × C) for obtaining all the neighboring xj for each xi, so that we can make efficient element-wise matrix multiplications. Similarly, the operations until P2 represent the term ∑j f (xi, xj )·xj in eq. 3. During spatial computation, the operations until P3 represent the term ∑j gαs (‖j − i‖)xj . As a result, the bilateral propagation operation can be efficiently executed via the element-wise matrix multiplications and additions shown in Fig. 3

双边传播利用特征通道与空间域和距离域的距离。我们在相邻区域 s 内探索 j，它被设置为全局特征的相同空间大小以进行全局传播。相邻特征通道的空间贡献通过高斯函数gαs进行调整。在计算 yr i 时，我们通过 i 周围的相邻区域 v 中的 f (.) 测量特征通道 xi 和 xj 之间的相似性。vis 3 × 3的大小。为此，双边传播通过yi s考虑全局连续性，通过yi r考虑局部一致性。

原文链接：

arxiv.org/pdf/2007.06929.pdf