VC：A Robust Approach to Blind Image Inpainting 一种鲁棒性的盲图像修复方法（2020）论文笔记

一、摘要

盲修复是一项自动完成视觉内容的任务，无需为图像中缺失的区域指定掩码。之前的研究假设缺失区域模式是已知的，限制了其应用范围。本文通过定义一个新的盲修复设置来放宽假设，使盲修复神经系统对各种未知缺失区域模式的训练具有鲁棒性。我们提出了一个两阶段的视觉一致性网络(VCN)，旨在估计填充的位置(通过掩模)并生成填充的内容。在此过程中，不可避免的存在潜在掩模预测误差，导致后续修复中出现严重的伪影。为了解决这个问题，我们的VCN首先预测语义不一致的区域，使掩码预测更容易处理。然后使用新的空间归一化方法修复这些估计的缺失区域，使VCN对掩码预测误差具有鲁棒性。这样，就产生了语义上令人信服和视觉上引人注目的内容。

二、介绍

在一些掩码不可用的场景下，对准确掩码的要求很难实用。用户需要手动仔细定位损坏的区域，其中不准确的掩码可能导致较差的结果，本文分析了盲修复的自动寻找像素去补全，并提出了一种基于图像上下文理解的解决方案。

现有的关于盲修复的工作假设缺失的区域被常数值或高斯噪声填充。因此，可以很容易地、几乎完美地根据噪声模式识别损坏区域。当损坏区域包含未知内容时，这种过于简化的假设可能会出现问题。为了提高适用性，本文放宽了假设，提出了多用途盲修复任务。通过全面考虑输入图像的更深层次语义来解决这个问题，并基于结构上下文检测更多语义上的意义不一致性。

没有假设破损模式的盲修复是高度病态的。这是因为未知退化区域需要根据它与完整区域的差异而不是已知特征来定位，并且这种预测中的不确定性使得进一步的修复具有挑战性。本文从两个方面来解决这个问题：一种新的数据生成方法和一种新的网络架构。

①对于训练数据的收集，如果我们只将受损区域中常见的黑色或噪声像素作为输入，网络可能会将这些部分检测为特征，而不是根据我们的需要利用上下文语义。用于训练的破损区域应该是多样和复杂的，以便可以提取结构的高维不一致性，而不是损坏的部分。本文的第一个贡献是一种新策略去生成高度多样化训练数据，其中采用自然图像作为随机笔画的填充内容。

②对于模型设计，框架包括两个阶段：掩码预测和鲁棒修复。采用判别模型进行二元逐像素分类预测不一致区域。有了估计的掩码，我们用它来指导修复过程。虽然这个框架是直观的，但它的具体设计解决了这个框架中最大的问题：如何消除在第一阶段不可避免的掩码估计误差带来的生成退化。为了应对这一挑战，本文提出了一种概率上下文归一化(PCN)方法来在不同的神经层中空间传递上下文信息，增强基于掩码预测概率的修复网络的信息聚合。

贡献

①提出了第一个相对论广义盲修复系统。它对各种看不见的退化模式和掩码预测误差具有鲁棒性。我们联合模型掩码估计和修复过程，并通过新的空间归一化处理从计算的掩码到后续修复的误差传播。

②针对新任务提出了有效的定制化训练数据合成方法，并进行了综合分析。该方法使盲修复系统对视觉不一致具有鲁棒性，有利于完成各种修复任务。

三、方法

M：掩码区域为1，未掩码区域为0

定义N的关键是使其尽可能与图像模式上的I无法区分，这样模型在没有看到图像的语义上下文的情况下无法判断局部补丁是否损坏。然后用这些数据训练的神经系统就有可能处理未知的破损。

是M通过迭代高斯平滑获得的，在O和N之间的接触区域采用α混合。因为直接混合图像O和N会产生明显的边缘，这是区分噪声区域的有力指标。这将不可避免地牺牲所使用模型的语义理解能力。

模型架构

 视觉一致性网络（VCN）有两个子模块，即掩码预测网络(MPN)和鲁棒修复网络(RIN)。MPN是预测给定图像中潜在的视觉不一致的区域，而RIN是根据预测的掩模和原始图像中的上下文修复不一致的部分。MPN提供了一个不一致掩码M^，帮助RIN定位不一致区域。另一方面，通过利用局部和全局语义上下文，RIN在很大程度上正则化了MPN，使其专注于这些区域，而不是简单地拟合我们生成的数据。

它的鲁棒性表现在两个方面。①VCN的MPN可以很好地预测待修复区域，即使破损模式对训练模型来说是新的。②VCN的RIN对预测的缺失区域合成了可信和令人信服的视觉内容，对掩码预测误差具有鲁棒性。

MPN

MPN的目标是学习一个映射F，其中F(I)—>M。MPN采用残差块编码器-解码器结构，以M^和M之间的二值交叉熵损失为优化目标。为了稳定其学习，引入自适应损失来平衡正样本和负样本分类，因为清晰像素比损坏像素多。自适应损失表示为：

后面的修复过程中不会完全放弃损坏的像素。M^的柔软性保证了整个网络的可微性。此外，MPN状态(损坏或未损坏)不确定的像素仍在后续处理中使用，因此减少了像素错误分类引起的误差积累。

MPN的目标是检测所有损坏的区域。因此，它倾向于预测输入损坏图像的大损坏区域，但是它使得后续的修复任务难以实现。为了使任务更容易处理，我们建议检测图像的不一致区域，该区域要小得多。如果这些区域被正确检测到，其他损坏的区域可以自然地混合到图像中，从而产生逼真的结果。通过与RIN联合学习MPN，MPN最终定位不一致区域，而不是所有损坏的区域。

RIN

有了MPN定位的M^， RIN对它们进行校正并产生一个现实的结果O。RIN学习到一个映射G，其中G（I|M^）—>O。RIN的结构采用编码器-解码器的方式，带有概率上下文块(PCB)。PCB是一种带有新归一化的残差块变体，将空间信息与预测掩模结合在一起。

对于预测的掩码M^，修复损坏区域需要从上下文信息中进行知识推断，并对前一阶段的错误传播掩码持怀疑态度。一个简单的解决方案是将掩码与图像连接起来，并将它们提供给网络。然而，这种方法只捕获更深层次的上下文语义，而不明显地考虑掩码预测错误。为了提高上下文信息积累和最小化掩码错误传播，最好在所有构建块中完成传输，由估计的掩码置信度驱动。因此，我们提出了一种概率上下文归一化(PCN)，它在不同的层中传递上下文信息，增强了鲁棒性修复网络的信息聚合。

PCN模块由上下文特征转移项和特征保留项组成。前者将均值和方差从已知特征转移到未知区域，两者都由估计的软掩码M^表示(下面定义的H是它的下采样版本)。它是一个可学习的凸组合，预测已知区域和未知区域的特征统计。特征保留项使已知区域(高置信度)的特征保持完整。

f(·)是由两个具有激活函数的完全连接层组成的激励函数。

特征均值与其全局语义信息相关，方差与纹理等局部模式高度相关。PCN的特征统计传播通过利用上下文平均值和方差帮助生成不一致的区域。

RIN的其他特殊设计包括特征融合和综合优化目标。特征融合是指将判别特征(MPN的瓶颈)连接到RIN的瓶颈。这不仅通过引入潜在的空间信息丰富了给定的特征转化为自然图像，而且从生成过程中增强了基于梯度的定位问题的判别学习。

损失函数：重建损失+ID-MRF损失+感知损失风格损失+对抗损失

ID-MRF损失作为纹理一致性项。它使用相对相似性度量来计算来自生成内容的神经补丁与来自相应的真实值的神经补丁之间的补丁差异之和。它通过最小化与真实值最相似的补丁的差异来增强生成的图像细节。