EdgeConnect: Structure Guided Image Inpainting using Edge Prediction论文阅读笔记

这是一篇发表在ICCV2019 Workshop上的论文。机构是University of Ontario Institute of Technology, Canada
网络结构：

网络结构由两部分组成：第一部分是边缘生成网络，第二部分是图像补全网络。每一部分都包括一个生成器和判别器。
第一阶段网络的输入是带有缺失区域的灰度图像、带有缺失区域的边缘图、掩膜，随后得到预测出的边缘图，再将此边缘图和带有缺失区域的彩色图像输入到第二阶段的网络中，得到最终的补全后的图像。
详细训练过程：
数据准备：作者使用了CelebA、CelebHQ、Places2和Paris StreetView等标准数据集进行训练和评估。为了公平比较，作者将图像大小设置为256×256，并使用批量大小为8的训练图像。
生成边缘图：在边缘生成阶段，作者使用Canny边缘检测器生成训练标签（即边缘图）。Canny边缘检测器的敏感度由高斯平滑滤波器的标准差σ控制。
训练生成器和判别器：作者首先训练边缘生成网络（生成器G1和判别器D1）使用Canny边缘图进行对抗性训练。然后，作者训练图像补全网络（生成器G2和判别器D2）使用生成的边缘图和不完整的彩色图像进行对抗性训练。训练过程中使用了Adam优化器，并根据损失函数的收敛情况调整学习率。
联合训练和冻结：在训练过程中，作者首先联合训练生成器G1和判别器D1，直到损失函数收敛。然后，作者冻结G1的训练，继续训练生成器G2和判别器D2，直到网络收敛。
高分辨率训练：为了进行视觉比较，作者使用预训练的256×256模型的权重来训练512×512图像。使用相同的超参数进行训练。

EdgeConnect方法将图像修复问题分为结构预测和图像补全两个阶段。首先，通过生成边缘图来预测缺失区域的图像结构，然后将预测的边缘图用于指导图像补全过程。这种结构引导的方法使得修复的图像能够更好地保留原始图像的结构信息。

损失函数：
整个过程用到了GAN loss，feature-matching loss，${\ell }_1$ loss，perceptual loss，style loss。并将这些loss联合到一起。

参考文献：
EdgeConnect: Structure Guided Image Inpainting using Edge Prediction