Free-Form Image Inpainting with Gated Convolution

CVPR 2020的一篇文章

解读一下题目：

- free form   自由形式
- image inpainting 图像补全
- gated convolution 门控卷积

该文章提出了一个，缺失区域为自由形式的图像补全情况的解决方法，针对该方法提出了一个门控卷积的方法。

模型结构图如下：

不通篇翻译了，直接进行论文有价值部分分享

问题：

• 以前的image inpainting任务的mask都是一个固定大小的矩形。
• 传统的补全方法，卷积滤波器在对图像进行计算的过程中存在不合理性：
  – 有时，卷积滤波器处理的像素全部为mask部分，有时，处理的全部为gt像素，有时，处理的是gt像素和msk像素的边界。
  – 卷积滤波器对待gt像素和mask像素是同等对待的，包括边界情况也同等方式计算，这样不合理。

针对以上问题，作者提出一个gated convolution方法

公式中，前两行是两个卷积运算。
其中$I$ 是原始图像。$W_g$是gated卷积核参数，$W_f$是feature卷积核参数。原图像分别经过两个不同的滤波器得到门控信息$Gating$和特征$Feature$，最终的输出$O$是两部分分别经过激活函数后做element-wise乘法得到。我认为该方法看似有其合理性，理想是Gating收集门控信息，哪些像素值得被信任，哪些像素要信任的少一些，然后对提取出来的特征进行一部分削弱。

除了该方法外，文章中还提出下面一些可圈可点的创新

改进了对抗网络 Spectral-Normalized Markovian Discriminator (SN-PatchGAN)

判别器网络如上图。在图像补全的以往判别器中，一般分成两个分支：

• 全局判别
  观察补全后的整张图像是否合理
• 局部判别
  观察补全区域是否合理

但在该任务中，缺失部分mask为free form 任意形式，所以无法判别局部的情况了。
在该方法中，作者提出了如上图的判别网络，将原图像压缩后，生成一个特征图，特征图的每个像素对应原始图像的一个小区域。该判别器在特征图的每个像素进行判别，也就是判别对应原图像的每个区域的合理性。

任意形式的mask生成 Free-Form Mask Generation

用了一些随机的划线条，来模拟人画出来的mask。为了让线条连接平滑一些，线条边缘画了一些圆

用户引导图像补全 Extension to User-Guided Image Inpainting

除了mask之外，人在画一些形状，输入给网络引导图像补全。

loss function

该方法loss function为reconstruction loss 和 对抗损失 两部分
重建损失 可以理解为 像素对像素的 差距损失。

贴一些实验结果