Image Inpainting via Generative Multi-column Convolutional Neural Networks

1. Motivation

• 提取合适的特征评估 patch之间的相似性；
• 寻找最接近的 patch；
• 聚合辅助信息。

2. Approach

2.1 Network Structure

• 生成器：三个并行的编码器，用于提取不通尺度的特征，一个公用的解码器。
• 判别器：局部判别器+全局判别器。

2.2 Loss function

• ID-MRF regularization：

这个损失或正则项其实就是常见的感知损失或特征损失的改良版，用上面的公式去度量 patch之间的相似性，相似性越高，RS的值越大，所以第三个公式中前面有个负号。第四层卷积得到的 feature map表示语义信息，第二、三层卷积得到的 feature map表示图像的纹理信息。

• Spatial variant reconstruction loss：

了对空间位置施加约束，设计了新的重建损失，其中靠经填充边界的未知像素要比远离边界的区域受到更强的约束，通过改变 mask的值对不同的像素点的位置进行约束。

• Adversarial loss：Wasserstein GAN的损失【1】

• Final loss：

3. Discussion

我认为本文的创新点主要有三个：

• 不同尺度的感受野，更好的提取图像中的特征；
• ID-MRF正则化，不仅让局部的 patch找到最接近的 patch，整体的分布也更加接近；
• 新的重构损失，对不同位置使用不同级别的限制。

这篇文章和 “Image Fine-grained Inpainting” 【2】有点像，【2】是这篇文章的改良版，感兴趣的话可以看一下。

局限性：不适用于大规模数据。

源代码：https://github.com/shepnerd/inpainting_gmcnn

4. References

【1】Gulrajani, Ishaan, et al. "Improved training of wasserstein gans." Advances in neural information processing systems. 2017.

【2】Hui, Zheng, et al. "Image fine-grained inpainting." arXiv preprint arXiv:2002.02609 (2020).

【3】Wang, Yi, et al. "Image inpainting via generative multi-column convolutional neural networks." Advances in neural information processing systems. 2018.