论文阅读——Semantic Image Inpainting with Progressive Generative Networks

原文连接：Semantic Image Inpainting with Progressive Generative Networks (MM 2018). Zhang, H., Hu, Z., Luo, C., Zuo, W., & Wang, M. [Paper][Code]

本文的创新点：提出了渐进生成网络（Progressive Generative Networks），将整个修复过程分成四个阶段，从缺失区域的外围逐步向中心进行修复。

目录

网络结构

整体网络结构

 生成网络

 判别网络

损失函数

重构损失（L1）：

 对抗损失：

总变差损失（TV）：

总体损失：

 实验结果

---

网络结构

整体网络结构

整体网络主要由生成器、判别器以及LSTM（长期短期记忆）构成。

 生成网络

本文采用U-Net网络作为生成器，采用全卷积网络，减少了传统自动编码器结构中的信息损失。

 判别网络

本文采用完全卷积判别网络(PatchGAN)作为判别器。PatchGAN的输出是一个N*N的矩阵，矩阵中的每一个元素都是一个patch，对应图像的一个感受野，最后取输出矩阵的均值作为True/False的输出。

损失函数

重构损失（L1）：

其中M为掩码（1为有效像素，0为缺失区域），为真实图像，

 对抗损失：

总变差损失（TV）：

  其中，m和n是像素的坐标。

总体损失：

 实验结果