SPG-Net阅读笔记

SPG-Net：Segmentation Prediction andGuidance Network for Image Inpainting

会议：2018

代码地址：https://github.com/yccyenchicheng/pytorch-SegInpaint

概述：

现有的图像修复方法主要是基于生成模型，未考虑语义信息所包含的物体形状，从而导致修复的图像边界较为模糊。论文将图像修复过程分为分割预测segmentation prediction (SP-Net)和分割指导segmentation guidance (SG-Net)两步，首先预测待修复区域的分割标签，然后根据分割指导生成修复结果。

1.介绍

我们的目标不仅仅是使修复区域具有逼真的细节，而且使修复区域的边界与上下文保持一致，我们首先通过图像分割方法生成输入图像的分割蒙版，再SP-Net网络预测待修复区域的蒙版，最后将修复后的蒙版与输入图像作为SG-Net的输入进行图像修复。

3.方法

3.1 segmentation prediction (SP-Net)——基于GAN网络

网络结构详见论文

对抗损失：

多尺度的应用，将原图像分别以1,2,4的系数进行下采样计算对抗损失，使生成器能够捕获全局结构和局部纹理

感知损失：

总损失：

3.2segmentation guidance (SG-Net)

相比于SP-Net引入待修复区域的感知损失：

总损失：

4.实验

通过 Cityscapes dataset， Helen Face dataset两个数据集进行训练、对比，训练图像大小为256*256，孔的大小为图像大小的1/8-1/2，位置随机放置；我首先使用最优先的语义分割网络Deeplabv3+固定参数，然后分别训练SP-Net、SG-Net网路200个循环，最后训练整个网络100个循环