Free-Form Image Inpainting with Gated Convolution

摘要

本文提出一个生成式图像修复系统，基于门控卷积(gated convolution)从百万种图像中学习。
创新1：门控卷积
门控卷积的提出解决了传统卷积中把所有输入像素点都作为有效像素这个问题，并扩展partial convolution(通过提供一个对所有层中每个通道每个位置进行学习的动态选择特征机制)。
创新2：SN-PatchGAN
由于任意形式的masks可能出现在图片中任意位置上以任何形式的存在。我们提出一个patch-based GAN loss(SN-PatchGAN), 也就是对图像进行若干分块，然后分别对其中每个局部区域进行判别应用spectral-normalized 判别器。图像修复和用户引导扩展证明我们的系统生成高质量且更稳定的结果。

介绍

图像修复是一个在丢失部分进行填充内容使得这个修复在视觉上是逼真的，在语义上是正确的。在计算机视觉领域，针对深度修复存在的两种常见方法，一种是。。第二种是深度卷积网络，第一种缺点。。第二种优点可以学习到更多语义信息，生成更好的效果。但是传统卷积模块把所有像素都作为有效值进行处理，所有对空洞填充是不适合的。在每层的输入，由空白处无效像素和空白处旁边的有效像素点组成。这样会造成色差，模糊。。。为了解决这个问题，最近提出partial convolution,只对有效像素点进行卷积和归一化，然后有规则的更新mask。partial convolution策略是将输入位置分为有效和无效，并将所有层输入乘以0/1的mask，这个mask可以被视为一个单一不可学习的特征门控通道。
Partial-Convolution = 卷积操作 + mask更新

• 卷积操作
  
  每个位置的部分卷积如图1.设W是卷积滤波器的权重，b是相应的偏差。 X是当前卷积（滑动）窗口的特征值（像素值），M是相应的二进制mask。
• mask更新

在每次部分卷积操作之后，我们将更新我们的mask。 规则很简单：如果卷积能够在至少一个有效输入值上其输出1，否则为0。 这个方法存在一些限制。

1. 考虑不同层的输入可能包括1）图像全是有效像素2）图像是mask像素3）感受野覆盖到图像中无效像素的区域4）感受野覆盖到不同数量有效像素区域5）由深度层合成的像素Heuristically 只把位置划分为有效和无效的，而没考虑其他重要信息。
2. 如果我们扩展用户引导图像修复，就是用户提供一个关于mask的草图。那么这些像素被定义为有效像素还是无效像素？
3. 对于partial convolution中”无效像素点“将会在一层一层中逐步消失，同时mask也会全部变为1，但是为了合成空白像素就需要这个hole的里面和外面的像素信息，而全是1的mask 不能提供这样的信息。
   本文提出门控卷积，它对不同通道和不同空间位置（比如在mask里，外像素，rgb通道，用户引导通道）学习a dynamic feature gating mechanism。具体就是对于输入特征我们首先使用g = σ(wgx)（门控卷积，σ是sigmoid方法，wg为可学习参数），然后通过普通特征进行卷积乘以门控值g得到最后输出y (y=φ(wx)g，φ可以为任意激活函数)。当mask为任意形状时，输入不再是简单的带有mask的RGB通道而是带有用户引导的草图输入时，门控卷积可以很容易实现并获得显著效果。对于网络结构，我们堆叠了门控卷积然后形成一个encoder-decoder网络。在精细网络也整合了语境注意模块（contextual attention）去更好的获取远距离的关联信息。
   本文提出SN-PatchGAN，由[15]激励的网络，SN-PatchGAN判别器直接计算每patch的hinge loss。
   以下是不同方法的比较（PatchMatch-PM,Global&Local-GL,ContextAttention-CA,PartialConv-PV和我们方法）
   
   我们方法贡献：

• 提出门控卷积，可以提取每一层层每个通道的每个位置的特征，动态特征提取。显著提高了颜色一致性和修复质量
• 提出一个基于patch的GAN判别器，SN-PatchGAN.它可以生成高质量的修复结果
• 我们使用用户引导草图作为输入，可以获得用户更想要的修复结果
• 我们提出的系统相比于以前工作实现了高质量修复

相关工作

自动图像修复
介绍了常见方法，没有提本文方法
传统的方法。。。最近的方法。。。为了处理不规则的masks方法。。。
引导用户修复与合成
大概就是我们可以额外添加一张用户引导图像，然后一方面可以根据这张图像生成更符合用户的修复部分，另一方面，原来的rgb图像可以利用这张图片获得更详细的信息

特征选择Feature-wise gating
门控卷积g就是对每一层中输入图像的每一个通道和图片中任意位置，进行特征选择，经过学习识出哪些是有用的特征，就相当是一个门，有用，就进来特征卷积学习f。没有用就出去不用学习。

方法

介绍Gating Convolution，SN-PatchGAN，用户引导
门控卷积

把输入图像首先进入Soft Gating，这就是门控卷积，然后再进入到特征提取Feature中

所以门控卷积是一个可以学习每个通道，每个位置上的一个动态特征选择器。有趣的是，中间选通值的可视化显示，它不仅可以根据背景、掩模、草图来选择特征，还可以考虑某些通道的语义分割。即使在深层，也能学到mask区域和草图信息，更高的提高图像修复能力。

SN-PatchGAN

网络结构
我们生成修复网络由门控卷积形成的粗略，精细网络和SN-PatchGAN组成
对于coarse and refinement 网络，我们都使用简单encoder-decoder结构网络。使用gating 卷积来替换传统卷积。
mask生成
用户引导修复

结果

定性比较

结论

我们提出一个端到端的生成网络，通过像素之间l1损失，SN-PatchGAN损失训练。最后显示门控卷积很大程度上提高了修复结果，我们使用用户草图可以帮助用户移除掉扰乱的物体，修改图像布局、清除水印、编辑人脸以及交互式地在照片中创建新对象。定量结果、定性比较和用户研究证明了我们提出的方法在修复系统统中取得较好的结果。