论文阅读——Learning to Incorporate Structure Knowledge for Image Inpainting

原文链接：Learning to Incorporate Structure Knowledge for Image Inpainting (AAAI 2020). Jie Yang, Zhiquan Qi, Yong Shi [Paper][Code]

本文创新点：

1. 提出了一个多任务学习框架，利用图像的结构知识来辅助图像修复。
2. 引入了结构嵌入方案，将学习到的结构特征嵌入到修复过程，指导修复。

主要思想：训练一个生成器，同时修复破损的图像和相应的结构（边缘 和梯度），并用结构特征指导图像修复。

网络结构

整体网络结构还是以自编码器为基础，其中编码器是共用的。

   

其中，I 为真实图像，C 为梯度图，E 为边缘图，M 为掩码（0为已知区域，1为缺失区域）

其中，Ipred 为预测图像，Cpred 为预测梯度图。

Structure Embedding Layer

利用结构嵌入层，将结构特征嵌入到不同尺度的解码阶段，作为生成图像的先验。

Attention Layer

首先提取特征块，并计算余弦相似度：

其中，pi 和pj 是输入特征第i 个和第j 个patch。

然后用softmax计算注意力分数：

 最后，利用残差连接将特征图x与注意力图o连接在一起：

其中，γ 为比例系数。

损失函数

Pyramid Structure Loss

金字塔结构损失主要用来指导结构的生成和嵌入，

 其中，Ledge 为正则项，β为比例系数。

重构损失（L1）

感知损失

使用VGG-19的relu1_1 、relu2_1 、relu3_1 、relu4_1 和relu5_1 计算感知损失。

风格损失

其中，GΦi 为Ci *Ci 的Gram矩阵。

对抗损失

图像损失

总体损失