StructureFlow: Image Inpainting via Structure-aware Appearance Flow

Yurui Ren1,2 Xiaoming Yu1,2 Ruonan Zhang2 Thomas H. Li3,1 Shan Liu4 Ge Li 1,2 1School of Electronics and Computer Engineering, Peking University 2Peng Cheng Laboratory3Advanced Institute of Information Technology, Peking University 4Tencent Americayrren@pku.edu.cn xiaomingyu@pku.edu.cn zhangrn@pcl.ac.cn tli@aiit.org.cn shanl@tencent.com geli@ece.pku.edu.cn

2021 openaccess.thecvf.com 

基于结构感知外观流的图像修复

代码：https://github.com/RenYurui/StructureFlow

原文：https://arxiv.org/abs/1908.03852

摘要：

图像修复技术最近使用深度神经网络显示出显着的改进。然而，它们中的大多数可能无法重建合理的结构或恢复细粒度的纹理。为了解决这个问题，在本文中，我们提出了一个两阶段模型，该模型将修复任务分为两部分：结构重建和纹理生成。在第一阶段，利用边缘保留的平滑图像训练结构重构器，完成输入的缺失结构。在第二阶段，基于重构的结构，设计了一个使用外观流的纹理生成器来生成图像细节。在多个公开可用数据集上的实验显示了所提出网络的卓越性能。

网络框架图：

•我们提出了一种结构重构器来生成边缘保留平滑图像作为全局结构信息。

•我们引入外观流来建立缺失区域和现有区域之间的长期校正，以实现生动的纹理生成。

•为了简化外观流的优化，我们建议使用高斯采样而不是双线性采样，并引入了一种新的采样正确性损失。

我们的StructureFlow修复网络框架如图所示。我们的模型由两部分组成:结构重构器Gs和纹理生成器Gt。结构重构器Gs用于预测缺失的结构，从而生成全局结构图像ˆS。纹理生成器Gt根据重构的结构ˆS绘制细节，并输出最终结果ˆI。

结构重构器：

结构重构器图像修复任务的一个主要挑战是为缺失区域生成有意义的结构。因此，我们首先设计了一个结构重构器Gs来恢复输入图像的全局结构。

额，这里其实没太理解Iin与Sin的实际区别。有点怪，先把论文中描述的加上去。

这里输出的损失为对抗损失以及L1损失

纹理生成器：

卷积神经网络对于捕获长期依赖关系无效。为了在不同区域之间建立清晰的关系，我们将外观流引入到GT中。如图 中Appearance Flow所示，外观流用于扭曲输入的提取特征。

同时我们提出使用高斯采样而不是双线性采样来扩展感受野。然后，我们提出了一种采样正确性损失来约束可能的收敛结果。采样过程根据输入像素（特征）计算梯度。如果采样操作的感受野是有限的，则只有少数像素可以参与操作。由于相邻像素(特征)通常是高度相关的，因此需要一个大的接受域来获得正确稳定的梯度。因此，具有非常有限的感受野的双线性采样可能不适用于需要建立长期相关性的任务。为了扩大感受野，我们在外观流操作中使用高斯采样而不是双线性采样。而采样正确性损失用于约束外观流场。它决定了当前采样区域是否为“好”选择。我们使用预训练的 VGG19 来计算这种损失。主要是对采样正确性损失计算ground truth特征与 采样特征之间的相对余弦相似度。计算的为详细内容见论文。

剩余的两个损失同样为对抗损失以及L1损失。这一部分的优化策略，总损失函数为：

在后续的消融实验中提出了不同模块作用效果的对比：

为了验证我们的外观流的有效性，我们训练了一个模型，而不使用纹理生成器中的外观流块。评价结果见表3。可以看出，我们的StructureFlow比没有外观流操作训练的模型具有更好的性能，这意味着我们的外观流可以帮助纹理生成并提高模型的性能。接下来，我们测试了我们的高斯采样和采样正确性损失。为这项消融研究训练了两个模型：在外观流的扭曲操作中使用双线性采样训练的模型和不使用采样正确性损失训练的模型。图 6 显示了这些模型获得的外观流场。可以看出，不使用采样正确性损失训练的模型无法对大缺失区域的正确特征进行采样。双线性采样也无法捕获长期依赖关系。我们的StructureFlow获得了一个合理的流场，并为缺失区域生成逼真的纹理。