论文阅读——Recurrent Feature Reasoning for Image Inpainting

原文链接：Recurrent Feature Reasoning for Image Inpainting (CVPR 2020). Jingyuan Li, Ning Wang, Lefei Zhang, Bo Du, Dacheng Tao [Paper][Code]

本文创新点：

1. 提出Recurrent Feature Reasoning (RFR) module，逐步修复缺失区域；
2. 提出Knowledge Consistent Attention (KCA) module，确保每次修复信息的一致性。

网络结构

整体网络主要由三个部分构成：

1. 区域识别模块：用于识别该递推中要推断的区域；
2. 特征推理模块：推断识别区域内的内容；
3. 自适应特征合并：用于合并中间特征图；

 

Area Identification（区域识别）

用部分卷积来识别在每个递归中要更新的区域。用部分卷积更新后的掩码M* 减去输入掩码M，即为本次循环中需要推理的区域。

 Feature Reasoning（特征推理）

Knowledge Consistent Attention（知识一致注意力）

   为第i 次循环输入的特征图。

 首先，计算每对特征像素之间的余弦相似性；

 然后，通过平均相邻区域中目标像素的相似度来平滑注意力得分；

 再通过softmax生成(x,y) 的得分score' ；

如果，(x,y) 在上一次循环中是有效像素（ ），

 否则，

然后利用注意力得分重建特征图，

最后将输入特征F与重建特征 合并，

 Feature Merging（特征合并）

只把有效像素做平均。

 损失函数

感知损失

风格损失

 总体损失

 其中， 和 为重构损失（L1）。