论文阅读——Image Inpainting for Irregular Holes Using Partial Convolutions

原文链接：

• Image Inpainting for Irregular Holes Using Partial Convolutions (ECCV 2018). Liu, G., Reda, F. A., Shih, K. J., Wang, T. C., Tao, A., & Catanzaro, B. [Paper][Project]

本文创新点：提出用部分卷积层（Partial Convolutional Layer）来处理不规则孔洞。

网络结构

部分卷积层（Partial Convolutional Layer）

主要思想就是：只用有效像素进行卷积。

其中，W为卷积滤波器的权重，b对应的偏差，X是当前卷积窗口的特征值，M是二进制编码（1为有效像素，0为缺失区域），1和M具有相同的形状，但所有元素都为1。

在部分卷积之后，更新掩码：

网络主体采用U-Net结构，其中PConv1-8属于编码器，而PConv9-16属于解码器。

损失函数

 整个损失包含四个损失：L1损失，感知损失，风格损失和全变差（TV）损失。

L1损失 (per-pixel loss)

为带孔洞的输入图像，M为二进制掩码（0表示孔洞）， 为网络输出图像， 为真实图像，定义每个像素损失为：

其中， 为I 中元素的个数， ，C、H、W分别为 的通道数、高度和宽度。

感知损失

 

 其中， 表示最原始的输出图像（非孔洞像素为真实图像的像素）， 是 中的元素数， 是给定输入 的第 p 个特征图，本文使用VGG-16的pool1、pool2、pool3层计算感知损失。

风格损失

其中， 形状为 ，内积之后得到的Gram矩阵形状为 ， 是第p层归一化因子。 

全变差损失（TV）

 其中，R是孔洞区域1像素膨胀区域，对R进行平滑惩罚，主要目的是保持图像的光滑性，消除图像复原可能带来的伪影。

总损失

总结 

优点：

1. 该方法可以修复任何形状、大小位置或距离图像边界近的孔洞；
2. 该方法还可以用于提高图像的分辨率。

局限性：

1. 无法处理稀疏结构的图像；
2. 对于大面积缺失区域修复，效果不是很好。