Attention-Guided Hierarchical Structure Aggregation for Image Matting

Attention-Guided Hierarchical Structure Aggregation for Image Matting

Abstract

1. 现有的基于深度学习的抠图算法主要依靠高级语义特征来改善alpha
   mattes的整体结构，作者认为应该将高级语义信息与低级外观线索相协调，以细化前景细节
2. 提出一种端到端的分层注意力抠图网络(HAttMatting)，它可以在没有额外输入的情况下从单个RGB图像中预测更好的alpha mattes结构
3. 具体来说，作者利用空间和通道方向的注意力，以一种新颖的方式整合外观线索和金字塔特征。这种混合注意机制可以从精细的边界和适应性语义中感知alpha mattes
4. 作者引入了融合结构相似性(SSIM)、均方误差(均方误差)和对抗损失的混合损失函数，以指导网络进一步改善整体前景结构
5. 构建了由59600个训练图像和1000个测试图像(总共646个不同的 foreground alpha mattes)组成的大规模图像抠图数据

Introduction

• 图像抠图是指从输入图像中精确估计前景不透明度

• 本文综合探讨了高级语义和外观线索，并提出了一个端到端的分层注意力抠图网络(HAttMatting)来实现这种分层结构聚合。高级语义可以提供前景类别和轮廓，而外观提示提供纹理和边界细节。为了深入整合这种层次结构，作者在高级语义上执行通道方向的注意，以选择适合抠图的特征，并在外观线索上使用空间注意来过滤图像纹理细节，最后聚合它们来预测alpha mattes

<