原文链接:Learning to Incorporate Structure Knowledge for Image Inpainting (AAAI 2020). Jie Yang, Zhiquan Qi, Yong Shi [Paper][Code]
本文创新点:
- 提出了一个多任务学习框架,利用图像的结构知识来辅助图像修复。
- 引入了结构嵌入方案,将学习到的结构特征嵌入到修复过程,指导修复。
主要思想:训练一个生成器,同时修复破损的图像和相应的结构(边缘 和梯度),并用结构特征指导图像修复。
网络结构
整体网络结构还是以自编码器为基础,其中编码器是共用的。
其中,I 为真实图像,C 为梯度图,E 为边缘图,M 为掩码(0为已知区域,1为缺失区域)
其中,Ipred 为预测图像,Cpred 为预测梯度图。
Structure Embedding Layer
利用结构嵌入层,将结构特征嵌入到不同尺度的解码阶段,作为生成图像的先验。
Attention Layer
首先提取特征块,并计算余弦相似度:
其中,pi 和pj 是输入特征第i 个和第j 个patch。
然后用softmax计算注意力分数:
最后,利用残差连接将特征图x与注意力图o连接在一起:
其中,γ 为比例系数。
损失函数
Pyramid Structure Loss
金字塔结构损失主要用来指导结构的生成和嵌入,
其中,Ledge 为正则项,β为比例系数。
重构损失(L1)
感知损失
使用VGG-19的relu1_1 、relu2_1 、relu3_1 、relu4_1 和relu5_1 计算感知损失。
风格损失
其中,GΦi 为Ci *Ci 的Gram矩阵。
对抗损失
图像损失
总体损失