IEEE 2021
Zhao Zhang; Zheng Lin; Jun Xu; Wen-Da Jin; Shao-Ping Lu; Deng-Ping Fan
论文地址
一、简介
提出了双边注意模块(BAM),以利用深度图像丰富的前景和背景信息探索前景背景细节。
我们从RGB图和深度图中提取多级特征,随着网络深度的增加,高级特征将捕获全局上下文信息,但是它失去了对象的细节,当我们上采样预测的时候,显著图将被模糊,边缘将会变得不确定。
二、方法
2.1 概述
BiANet包含三个主要步骤:特征提取,预测上采样和双边注意残差补偿。
特征提取:
我们使用两个编码通道来分别提取RGB和深度信息。
使用VGG16的五个卷积块作为backbone,并附上具有三个卷积层的附加卷积组。一共会产生6个输出,以级联的方式逐级细化预测显著图。
预测上采样:
从高级特征预测的初始显著图是低分辨率粗糙的,只是用于预测前景和背景的初始位置,因为它包含丰富的语义信息。为了优化粗糙的显著图S6,使用较低级别的特征F5,其包含更多细节,在BAM的帮助下预测更高级别预测和ground truth(GT)之间的残差分量。我们将预测的残差分量R5添加到上采样的更高级别预测S6,并获得精细的预测S5,以此类推,逐级优化。公式如下所示:
双边注意残差补偿:
为了获得更好的残差信息并区分上下采样的前景和背景区域,我们设计了双边注意模块(BAM)使BiANet能够区分前景和背景。
在BAM中,更高级的预测视为前景注意图,反向预测视为背景注意图,用它们来集合双边注意放在前景和背景上。
损失函数:
Si是级联的输出,Srgb和Sd是最终的输出。
2.2 BAM
鉴于初始前景和背景,如何使用更高分辨率的跨模型功能来改进预测是本文的焦点。考虑到前景和背景的分布是完全不同的,我们使用一对逆转的注意组件设计双边注意模块,以分别从前景和背景中学习特征,然后共同细化预测。
Fi是32通道的1×1卷积,减少通道数从而减少计算成本。P是特征提取操作,是32通道3×3的卷积。
为了更好地理解BAM的工作机制,在上图中,我们可视化来自不同级别的BAM的通道平均特征。在BAM中,首先将首先通过乘以FF和BF注意图来进入两个分支。直接乘法的结果在黄色(FF特征)和蓝色(BF特征)框的左半部分中示出。我们可以看到FF Branch将注意力转移到从其更高级别预测的前景区域,以探索前景显着性提示。在卷积层之后,给出了不确定区域的更优先级。互补的是,BF分支专注于探索背景线索的背景区域,正在寻找其中可能的突出对象。在我们的BIANET中,自上而下的预测上取样是一种过程,其中突出物体的分辨率逐渐增加。它将导致不确定的粗糙边缘。我们可以看到FF和BF的两个都侧重于不确定区域(例如对象边界)。低电平和高分辨率的FF分支将消除不确定区域的溢出,而BF分支将消除不属于背景的不确定区域。这是Bianet在细节上更好地表现更好的一个重要原因,并且容易预测尖锐的边缘。在联合推断之后,我们可以看到双边增强的特征包含前景和背景的更多辨别空间信息。产生的残余部件在边缘上具有鲜明的对比度,然后抑制背景区域并加强前景区域。
2.3 MBAM
场景中的突出物体在位置,尺寸和形状中是各种各样的。因此,在高级层中探索多级上下文以了解场景。为此,我们使用多尺度版本扩展BAM,其中扩张卷积组用于从未确定的前景和背景区域提取金字塔表示。具体地,该模块可以被描述为:
为了直观地观察MBAM所带来的增益效果,我们可以在上图可视化来自MBAMS和BAM的平均前景第一特征映射。在第二行中,从其前三个级别中的三个MBAM获得特征映射,而在最后一行中,所有特征映射都是从BAM收集的。我们可以看到目标对象(马)占这一场景的大部分。如果没有能力感知多尺度信息,则BAM不能捕获高水平的准确全球凸极区域,并最终导致不完全预测。在引入多尺度扩展时,我们可以看到更高级别的功能实现更强大的空间表示,这支持找到更完整的突出对象。
三、实验