超级会员免费看
本文介绍了AAAI 2020年的一篇论文，研究如何将结构知识整合到图像修复（Inpainting）任务中。通过多任务学习框架和注意力机制，提出结构嵌入和金字塔损失函数的创新，提升了大面积缺失图像的修复质量。实验在CelebA、Places2和Facade数据集上进行，并使用PSNR、SSIM等多种指标验证了方法的有效性。
1. 论文动机：
以往的Inapinting论文主要分为两大类，一类是基于传统方法的图像修复（效果并不理想），另一类是基于深度学习的补全方法。现在比较先进的算法、模型大多都是基于深度学习的，但是处理多缺失部分的补全、大面积缺失部分的补全，效果并不是很理想，会出现模糊、伪影、语义不符等影响补全效果的问题。那么，如果我们能够构造基于这些结构（纹理、语义等重要结构信息）的损失函数对其加以训练，那么效果很可能会提升很多。
2. 论文创新
这篇论文利用的前人的模型，生成器由编码器和解码器构成，编码器是全局共享的，而解码器是多样的，能够学习到多种特征。编码器采用两次下采样，解码器采用两次上采样。在以往模型的基础上，改该论文提出了两个新的模块。
Ⅰ. 结构创新
（1）多任务学习框架（结构嵌入）
结构嵌入层首先进行结构特征的学习并进行预测，进而通过级联的方式将特征恢复回来，这种操作为特征提取提供了结构优先级，也减少了不利因素的影响。
（2） Attention层
作者团队受到非局部均值思想的启发（此技术在超分辨率等领域极为常见，常用于去噪等操作），利用非局部均值将其他区域的相似特征传递到缺失区域ÿ
订阅专栏 解锁全文
816
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
