论文阅读——Free-Form Image Inpainting with Gated Convolution

原文链接：Free-Form Image Inpainting with Gated Convolution (ICCV 2019 oral). Yu, J., Lin, Z., Yang, J., Shen, X., Lu, X., & Huang, T. S. [Paper][Code][Project]

本文的创新点：

1. 提出了门控卷积（Gated Convolution），学习特征的重要程度；
2. 用户可以指导图像修复。

网络结构

网络在《Generative Image Inpainting with Contextual Attention》基础上，将普通的卷积都替换成门控卷积。网络主要由粗修复和细修复两个网络组成，其中细修复网络由两个分支构成，上面的分支包含语义信息，下面的分支为常规的编码器分支。

门控卷积（Gated Convolution）

传统的卷积是将所有的输入像素视为有效像素，而部分卷积在传统卷积的基础上将mask掩码加入到卷积运算中，

 但是部分卷积存在的问题就是，在更新掩码的时候，它将含有1个有效值像素的区域和含有9个有效值像素的区域同等对待，这是不合理的。

为了解决部分卷积的问题，门控卷积为每个通道和每个空间位置学习动态特征选择机制，

 其中，Φ为激活函数，σ为sigmoid激活函数，Wg和Wf是两个不同的卷积核。

 User-Guided Image Inpainting

模型还具有用户交互功能，网络的输入包含一个用户交互的sketch通道，用户可以在该sketch通道绘制引导线以引导修复后结构的走向。在训练的时候，输入为破损图像、mask、sketch（由真实图像通过边缘检测和阈值分割得到）。