Single-shot Semantic Image Inpainting with Densely Connected Generative Networks基于密集连接生成网络的单镜头语义图像修复

一、摘要

现有的方法缺乏对语义和空间语境的充分理解，容易产生边界模糊和结构扭曲导致与周围区域不一致。本文提出了一个新的端到端框架，称为单镜头密集连接生成网络(SSDCGN)，它通过一组对称编码器-解码器组为缺失的内容生成视觉上逼真且语义上不同的像素。为了最大限度地提取语义并实现精确的空间上下文定位，在网络中引入了更深层次的密集跳跃连接。

二、介绍

传统方法主要有基于扩散的方法和基于样本匹配的方法。前者基于图像像素之间的高平滑假设，通过从周围区域扩展纹理来填充受损部分。由于忽略了语义理解，这些方法不适合恢复复杂的损坏区域，特别是高频像素。后者通过从已知区域复制匹配补丁来修复缺失区域。它可以分为两类。一类尝试将背景补丁匹配复制到缺失区域中来解决这个问题，在背景修复上取得了满意的效果，但对于复杂的非重复结构无法产生新的图像内容。第二类以数据驱动的方式描绘缺失的区域。它们利用大型外部数据库，当存在与查询具有足够视觉相似性的示例图像时，它们显示出极大的有效性，但是当查询图像在数据库中没有很好地表示时，它将失败，此方法计算量大，而且由于缺乏对图像语义的理解，容易产生边界不连贯的修复结果。

CE将修复任务转换为具有重建损失和对抗损失的单个编码器-解码器管道，利用卷积神经网络强大的特征学习和语义捕获。但是如果存在较大的缺失孔，则很难取得令人满意的结果。《Semantic Image Inpainting with Progressive Generative Networks》提出了一种渐进式生成网络( PGN)，该网络将填洞过程分成几个不同的阶段，每个阶段的目标是完成整个课程中的一个课程，但由于没有从根本上解决深度语义理解问题，无法获得清晰的边界。

本文采用一组对称编码器-解码器组来实现自细化过程。利用深度网络从局部到全局提取图像特征的优势，通过连接中间对应的特征映射层，将低级语义与高级语义结合起来。这样可以加强信息的传播，达到更深层次的语义理解。采用U-Net作为生成网络的基本单元来实现精确的空间上下文定位。此方法有效且快速，因为在测试阶段无需任何优化或后处理步骤，即可通过单镜头前向路径获得所修复的图像。

贡献

①提出了一种新的单镜头语义图像修复框架。通过一组对称的编码器-解码器组之间的密集跳跃连接，可以有效地结合不同层次的语义特征，探索更深层次的图像理解，并且可以显著提高修复结果的质量。

②基于WGAN-GP训练参数化生成模型，它们共同学习一个对抗性判别模型，为生成模型提供损失梯度。判别器对整个图像进行判别，以保持结构的一致性和视觉上的真实感。

③我们使用对抗损失和L2重建损失来训练网络。通过在两个基准数据集上与几种最新算法的比较，验证了该算法的有效性。我们还比较和分析了不同深度的生成网络。

三、相关的工作

GAN

本文用WGAN替代GAN，可以提高学习的稳定性，摆脱模式崩溃的问题，提供有意义的学习曲线等。自GAN提出以来，许多论文尝试通过使用启发式方法（例如尝试不同的网络体系结构，超参数和优化器）来解决GAN训练的不稳定性。随着WGAN的提出，这一问题的研究得到了重大突破。WGAN缓解甚至消除了许多GAN训练过程中存在的问题。相较于原始GAN的其根本的改进是对损失函数的修改。

WGAN使用一种新的损失函数，称为推土机距离或Wasserstein距离。它用于度量将一种分布转换为另一种分布所需的距离或工作量。从数学上讲，这是真实图像与生成图像之间每个联合分布的最小距离。

实现梯度惩罚（WGAN-GP）提出了一种替代WGAN中权重裁剪的方法。它惩罚了评论家（判别器）相对于其输入的梯度规范，并使稳定的训练成为可能。权重裁剪并不是实施Lipschitz约束的理想方法。其有两个缺点：网络容量使用不足和梯度爆炸/消失。当我们裁剪权重时，我们也限制了评论家的学习能力。权重裁剪迫使网络仅学习简单特征。因此，神经网络的容量变得未被充分利用。其次，裁剪值需要仔细调整。如果设置得太高，梯度会爆炸，从而违反了Lipschitz约束。如果设置得太低，则随着网络反向传播，梯度将消失。

因此，提出了梯度惩罚（GP）来代替权重裁剪以强制实施Lipschitz约束

四、方法

网络架构

本文用两个紧密连接的U-Net变体作为SSDCGN的一个例子，每个包含一个编码路径和一个解码路径。编码器遵循典型卷积网络的结构，解码器由一系列分数阶卷积组成。我们在两条路径之间使用卷积连接，这不会改变特征映射的数量，将每个操作定义为三个连续函数的组合:Batch Normalization (BN)、LeakyRelu、Conv。

密集连接

提出了一种密集跳跃连接模式:将每一层与后面相应的层直接连接。即每一层都直接与相应复制的特征图进行连接，实现信息的传递。图中相同的颜色表示相同的特征图。曲线箭头指出了这些特征图的复制源。跳跃连接方法将信息直接传递到后续相应的层，可以将不同尺度的图像信息直接向前传播，鼓励实现自细化的修复。跳跃连接不仅可以很好地传递图像特征以自细化细节，而且可以减少网络参数。

损失函数

逐像素重建损失直接将所修复的图像回归到真实图片，对抗损失用于训练具有对抗梯度的生成器以生成视觉逼真的图像。