High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling 迭代置信度反馈和引导

一、摘要

本文提出了一种带有反馈机制的迭代修复方法。引入了一个深度生成模型，该模型不仅可以输出一个修复结果，还可以输出相应的置信度图。使用此图作为反馈，它通过在每次迭代中只信任洞内的高置信度像素来逐步填充洞，并在下一次迭代中关注剩余的像素，由于它重用了来自先前迭代的部分预测作为已知像素，因此该过程逐渐改善了结果。此外，提出了一个引导上采样网络，以生成高分辨率的修复结果。通过扩展上下文注意模块来实现这一点，以借用输入图像中的高分辨率特征补丁。此外，为了模拟真实的对象移除场景，我们收集了一个大型物体掩码数据集，并合成了更真实的训练数据，以更好地模拟用户输入。

二、介绍

在现存方法的失败案例中，尽管会出现人造伪影，但通常存在具有良好预测的子区域，如果我们相信好的部分，把剩下的区域当作一个新的孔洞，然后再次运行模型，那么这个洞会逐渐变小，模型可以产生更好的结果。

鼓励模型生成一个置信度映射，该映射突出显示预测误差可能很小的像素，有助于克服预测模糊性。使用这个置信度映射作为反馈，我们的模型被训练成在每次迭代中只信任洞内的高置信度像素来逐步填充洞，并在下一个迭代中更新剩余的像素。通过预测在之前的迭代中成功填充了孔的哪一部分，并将这些像素作为“已知”。我们的模型可以逐渐改善填充大孔时的结果。

为了在高分辨率下生成高质量的修复结果，本文提出了一种引导修复上采样网络作为后处理方法。我们通过扩展上下文注意力模块来实现这一点，该模块基于对下采样输入结果计算的补丁相似度，从输入的图像中借用已知的高分辨率特征补丁。其动机是，当神经元的有效感受野更大时，训练深度网络为下采样输入生成全局连贯结构更容易；而周围高分辨率输入的区域可以用来增强孔内的细粒度纹理细节。

贡献

①提出一种具有置信度反馈回路的迭代修复方法来解决图像中大型缺失区域的修复挑战。

②我们提出了一个引导上采样网络作为后处理步骤，以生成高分辨率的修复结果。

③引入了一个新的过程，为真实物体去除应用程序构建深度生成模型来综合训练数据。

三、相关的工作

很多修复方法都是按照预先确定的顺序从边界到内部区域进行填充。本文提出的方法在生成修复结果时联合预测置信度映射。使用来自前一个迭代的置信度映射作为反馈，它可以自动检测填充不良的区域，以便在后续迭代中进行修改。

四、方法

修复方法由两个模型组成:一个是具有置信度反馈的迭代修复模型，另一个是使用高分辨率输入作为指导，以2倍的倍数对低分辨率结果进行上采样的引导上采样网络。

一个编码器+两个解码器{图像解码器：预测图像修复结果、置信度解码器：返回预测图像的相应置信度映射}

为了让置信度预测意识到整个生成过程，我们让置信度解码器将所有特征层作为输入，直到图像解码器的瓶颈。

使用PatchGAN判别器与谱归一化进行对抗性训练。它将修复图像或真实图像作为输入，并将输入图像的每个补丁分类为真实或虚假。它的输出是一个分数映射，而不是一个单独的分数，其中每个元素对应于输入图像的一个局部区域，该区域被其感受野覆盖。

生成修复损失

在粗修复上使用L1重建损失，在细修复上，使用L1和铰链对抗损失，并在鉴别器上应用谱归一化。

置信度预测损失

在计算损失时，我们利用置信度解码器的输出映射作为预测图像上的空间关注来检测好的区域。c表示置信度映射，置信度解码器的输出通过sigmoid函数将每个元素约束为[0,1]。

第一项鼓励置信度映射在损失L(y)较小的情况下具有高响应，因为通过从生成器输出中选择低损失区域y◦c，并用真实值x◦(1 - c)代替高损失区域，期望LC更小；第二项通过鼓励置信度区域覆盖尽可能多的缺失区域来惩罚全零置信映射的平凡解。

为了最小化Lc，c应该突出置信度区域（对总体损失贡献较小的像素）。Lc重写为：

对于单个样本y，损失是局部损失除以C的总和。因此，当C覆盖局部损失值最小的像素集时，达到最小值。

置信度预测损失

迭代修复

使用置信度解码器输出来标识修复结果中的置信度子区域，再次运行修复模型并重复该过程。在每次迭代中，我们将置信度像素设置为新输入中的“有效”像素，并将剩余的低置信度区域设置为下一个迭代要处理的新孔洞。随着迭代的进行，漏洞正在缩小，因此网络对生成的结果更加确定。

在第一次迭代中，通过用生成的内容填充整个缺失区域和将置信度低于0.5的像素设置为第二次迭代的缺失区域来初始化完成的图像。从第二次迭代开始，如果新生成的像素置信度比前一次迭代增加，则替换之前的像素。训练时，迭代两次。我们还固定了测试期间的迭代次数。由于我们的算法在每次迭代时都将当前最优的修复预测保留在孔洞内，因此不存在收敛性问题。

引导上采样

本文提出了一种扩展上下文注意力模块的新架构，它可以匹配和使用来自有效周围区域的特征补丁来帮助合成孔像素。

网络由两个浅层网络组成，一个用于学习补丁相似度，另一个用于图像重建。它们的特征图大小不同，但我们可以使用不同的补丁大小将它们分割成相等数量的补丁，使相似网络特征映射的补丁与重建网络特征映射的补丁具有1:1的对应关系，从而允许我们使用共享索引来表示补丁。补丁相似度网络计算一对补丁i，j之间的余弦相似度Si,j。重构网络是一个浅层编码器-解码器网络，从编码器的每一层到解码器的镜像层都有跳跃连接。将高分辨率特征映射转换为高分辨率修复结果之前，将孔内的每个特征补丁替换为有效补丁的加权和。

通过两个卷积层(“ToRGB”)将高分辨率特征映射转换为输出图像。高分辨率输出上的损失是L1和对抗损失的组合。通过这些有效补丁对缺失区域重建，我们简单地将其作为孔，并再次运行先前描述的迭代修复模型。通过将高层相似学习与低层纹理重建分离，所提出的引导上采样网络能够生成语义合理、视觉逼真的修复结果。