原文连接:Semantic Image Inpainting with Progressive Generative Networks (MM 2018). Zhang, H., Hu, Z., Luo, C., Zuo, W., & Wang, M. [Paper][Code]
本文的创新点:提出了渐进生成网络(Progressive Generative Networks),将整个修复过程分成四个阶段,从缺失区域的外围逐步向中心进行修复。
目录
网络结构
整体网络结构
整体网络主要由生成器、判别器以及LSTM(长期短期记忆)构成。
生成网络
本文采用U-Net网络作为生成器,采用全卷积网络,减少了传统自动编码器结构中的信息损失。
判别网络
本文采用完全卷积判别网络(PatchGAN)作为判别器。PatchGAN的输出是一个N*N的矩阵,矩阵中的每一个元素都是一个patch,对应图像的一个感受野,最后取输出矩阵的均值作为True/False的输出。
损失函数
重构损失(L1):
其中M为掩码(1为有效像素,0为缺失区域),为真实图像,
对抗损失:
总变差损失(TV):
其中,m和n是像素的坐标。
总体损失:
实验结果