High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis基于多尺度神经补丁合成的高分辨率图像修复（2017）

一、摘要

基于深度学习的方法在捕获高级特征方面比以前的技术更有效，但由于内存限制和训练困难，它们只能处理低分辨率的输入。即使是稍微大一点的图像，被修复的区域也会显得模糊。本文提出了一种基于图像内容和纹理约束联合优化的多尺度神经补丁合成方法，该方法不仅保留了上下文结构，而且通过匹配和自适应最相似的深层分类网络中间层特征相关性的补丁来产生高分辨率细节。(高分辨率就是对结果进行上采样)

二、介绍

解决孔洞修复问题的传统方法分为两类。第一组方法依赖于纹理合成技术，通过从周围区域扩展纹理来填充修复区域。这些技术中的一个共同思想是使用相似纹理的补丁，以粗到细的方式合成孔区域的内容。虽然这种方法很好地传播高分辨率纹理细节，但它们不能捕获图像的语义或全局结构。第二组方法利用大型外部数据库，以数据驱动的方式产生缺失的图像区域。这些方法假设缺失区域与数据库中图像可能具有相似的内容。当找到具有足够视觉相似性的示例图像时，这种方法非常有效，但当查询图像在数据库中没有很好地表示时，这种方法可能会失败。此外，这种方法需要访问外部数据库，极大地限制了可能的应用场景。

在深度学习方法中，通过使用神经响应的gram矩阵可以更好地解决更多艺术风格的转移问题。

本文提出了一种混合优化方法，利用编码器和解码器CNN的结构化预测能力和神经补丁合成真实的高分辨率细节的能力。与风格迁移任务类似，我们的方法将编码器-解码器预测作为全局内容约束，并将缺失区域与已知区域之间的局部神经补丁相似性作为纹理约束。

通过训练一个全局内容预测网络来构建内容约束，使用预训练的分类网络，利用中间层的补丁响应，根据孔洞周围的图像内容来建模纹理约束。这两个约束可以使用方向传播进行优化。

本文以一种从粗到精的方式执行修复任务。将内容预测网络的输出初始化为最低级别，在每个尺度执行联合优化以更新孔洞，上采样初始化联合优化并为下一个尺度设置内容约束。然后重复此操作，直到最高分辨率完成联合优化。

贡献

①提出了一个联合优化框架，该框架通过卷积神经网络建模全局内容约束和局部纹理约束，可以产生缺失的图像区域。

②进一步介绍了一种基于联合优化框架的多尺度神经补丁合成算法，用于高分辨率图像的修复。

③展示了从神经网络的中间层提取的特征可以用来合成真实的图像内容和纹理。

三、相关的工作

本文采用上下文编码器作为全局内容预测网络，使用预训练ImageNet分类的VGG-19网络作为纹理网络，使用relu3_1层和relu4_1层计算纹理项。

风格转移的方法主要用于生成结合了一个图像的“风格”和另一个图像的“内容”的图像。

四、方法

损失函数由三个项组成：整体内容项、局部纹理项和总变差损失项。内容项是捕获图像语义和全局结构的全局结构约束、纹理项是对输入图像的局部纹理统计进行建模。我们首先训练内容网络，并用它来初始化内容项。纹理项是根据ImageNet上预训练的VGG19网络计算的。

①首先训练整体内容网络f，目的是对内容约束进行建模，输入是去除中心平方区域并用平均颜色填充的图像，而xt（真实图像）是中心的原始内容。对内容网络进行训练，将网络的输出f(x0)作为联合优化的初始内容约束。

内容网络预测图

与CE对比：用ELU层取代了所有ReLU/Leaky ReLU层，并采用全连接层而不是通道全连接层。由于ELU单元使得回归网络在训练过程中比Leaky ReLU层更稳定，而且可以处理较大的负响应。

②纹理项的目标是确保缺失区域的精细细节与区域外的细节相似。我们用神经补丁来定义这种相似性。为了优化纹理项，我们将图像x输入到预训练的VGG网络中(本文将该网络称为局部纹理网络)，并强制在网络的预定特征层上，缺失区域内的小神经补丁的响应与孔外的神经补丁相似。我们通过使用有限内存BFGS最小化关节内容和纹理损失来迭代更新x。

步骤

我们首先对图像进行缩小，并利用内容网络的预测获得参考内容。给定参考内容，我们在低分辨率下优化内容约束和纹理约束。然后对优化结果进行上采样，并将其作为细尺度联合优化的初始化。

 

联合损失函数：整体内容项+局部纹理项+总变差损失项

求解以下最小化问题，得到最优重建结果：

X——破损图像。

R——x中的缺失区域

f——内容网络

t——纹理网络

 

整体内容项

Ec：对整体内容约束进行建模，以惩罚优化结果与之前的内容预测之间的L2差异:

 

局部纹理项

Et：对局部纹理约束进行建模，惩罚缺失区域内外纹理外观的差异。

在网络t中选择某一特征层(或特征层的组合)，提取其特征映射φt。对于孔中每个大小为s × s × c的局部查询补丁P，我们找到它在孔外最相似的补丁，并通过平均查询补丁与它最近邻的距离来计算损失。

 

 

总变差损失项 

 

内容网络

一种直接方法学习初始内容预测网络是训练回归网络f，使用输入图像x的响应f(x)在R区域来近似真实值。L2损失+对抗损失。

L2损失

 

对抗损失 

 

总损失 

 

纹理网络

使用VGG-19网络作为纹理网络，使用relu3_1层和relu4_1层计算纹理项.使用relu31和relu41的组合比使用单层产生更准确的结果。VGG-19网络是为语义分类而训练的，其中间层的特征在纹理畸变方面表现出很强的不变性。这有助于推断出更准确的孔洞内容重建。