论文阅读——Coarse-to-Fine Image Inpainting via Region-wise Convolutions and Non-Local Correlation

原文链接：Coarse-to-Fine Image Inpainting via Region-wise Convolutions and Non-Local Correlation (IJCAI 2019). Ma, Y., Liu, X., Bai, S., Wang, L., He, D., & Liu, A. [Paper][Code]

本文创新点：

1. 使用区域卷积（region-wise convolutions）对缺失区域和已知区域分别处理；
2. 利用Non-Local Correlation操作，捕获图像内部patch之间的长距离相关性。

 网络结构

网络分为两个部分粗略修复（stage1）和细致修复（stage2）。

其中， 是包含缺失区域的图像， 为二值掩码（缺失像素为0，其他为1）， 为完整图像，E 为编码器，G 、D为解码器， 为生成的粗略预测图像， 是由 和 中生成的缺失区域合成得到的。 为生成的细致预测图像， 是由 和 中生成的缺失区域合成得到的。

 region-wise convolution

对缺失区域和已知区域分别训练两个卷积滤波器对特征进行操作。

 其中，W 为已知区域卷积滤波器权重， 为缺失区域卷积滤波器权重，b 和 为对应的偏差，X为特征图，x 为当前卷积窗口的特征。

Non-Local Correlation

该方法将一个位置的响应计算为输入特征图中所有位置特征的加权和，从而可以捕获图像内部patch之间的长距离相关性。Non-Local Correlation计算的是特征位置之间的关系。（garm矩阵计算的是特征通道之间的关系）

其中，Ψ为c*n 的特征图（n=h*w ）,i 为第i 列特征。

损失函数

重构损失（L1）：

Correlation Loss：

其中，σ为归一化。

风格损失：

 其中，δp 为归一化因子。Φp 为cp*hp*wp 的特征图。

总体损失：