论文阅读——Hourglass Attention Network for Image Inpainting

原文及代码链接：ECCV Hourglass Attention Network for Image Inpainting. [code]

本文创新点：

1. 提出了一种新的基于注意力的网络-沙漏注意网络(HAN) ;
2. 提出了拉普拉斯注意力，它在相似度计算中引入了一个新的距离先验，并以拉普拉斯分布的形式表示空间位置的影响。

网络结构

网络由三个部分构成：CNN 编码器、CNN 解码器和沙漏注意力模块。沙漏注意力模块包含特征编码和特征解码两个过程，编码过程和解码过程由多层次的注意力块完成。在编码过程中patch的大小分别为1,2,4,8。沙漏注意力模块可以有效地利用多尺度的特征信息，同时降低了计算的复杂度。

每一个注意力块包含两个部分：拉普拉斯注意力层和前馈网络。

 作者在softmax后引入了拉普拉斯先验以反映特征之间距离对注意力得分的影响。拉普拉斯先验：假设patch qi和kj的空间坐标ci和cj分别为(xi,yi)和(xj,yj)，对于每个qi服从二维空间的“各向同性”的拉普拉斯分布)，其中，I为单位矩阵。

 其中，，|w|为可学习的参数。

损失函数

损失主要由重构损失（L1）、感知损失、风格损失和对抗性损失四个损失构成。