Bilateral attention network for RGB-D salient object detection阅读笔记

IEEE 2021
Zhao Zhang; Zheng Lin; Jun Xu; Wen-Da Jin; Shao-Ping Lu; Deng-Ping Fan
论文地址

一、简介

提出了双边注意模块（BAM），以利用深度图像丰富的前景和背景信息探索前景背景细节。

我们从RGB图和深度图中提取多级特征，随着网络深度的增加，高级特征将捕获全局上下文信息，但是它失去了对象的细节，当我们上采样预测的时候，显著图将被模糊，边缘将会变得不确定。

二、方法

2.1 概述

BiANet包含三个主要步骤：特征提取，预测上采样和双边注意残差补偿。

特征提取：

我们使用两个编码通道来分别提取RGB和深度信息。

使用VGG16的五个卷积块作为backbone，并附上具有三个卷积层的附加卷积组。一共会产生6个输出，以级联的方式逐级细化预测显著图。

预测上采样：

从高级特征预测的初始显著图是低分辨率粗糙的，只是用于预测前景和背景的初始位置，因为它包含丰富的语义信息。为了优化粗糙的显著图S6，使用较低级别的特征F5，其包含更多细节，在BAM的帮助下预测更高级别预测和ground truth（GT）之间的残差分量。我们将预测的残差分量R5添加到上采样的更高级别预测S6，并获得精细的预测S5，以此类推，逐级优化。公式如下所示：

双边注意残差补偿：

为了获得更好的残差信息并区分上下采样的前景和背景区域，我们设计了双边注意模块（BAM）使BiANet能够区分前景和背景。

在BAM中，更高级的预测视为前景注意图，反向预测视为背景注意图，用它们来集合双边注意放在前景和背景上。

损失函数：

Si是级联的输出，Srgb和Sd是最终的输出。

2.2 BAM

鉴于初始前景和背景，如何使用更高分辨率的跨模型功能来改进预测是本文的焦点。考虑到前景和背景的分布是完全不同的，我们使用一对逆转的注意组件设计双边注意模块，以分别从前景和背景中学习特征，然后共同细化预测。

Fi是32通道的1×1卷积，减少通道数从而减少计算成本。P是特征提取操作，是32通道3×3的卷积。

为了更好地理解BAM的工作机制，在上图中，我们可视化来自不同级别的BAM的通道平均特征。在BAM中，首先将首先通过乘以FF和BF注意图来进入两个分支。直接乘法的结果在黄色（FF特征）和蓝色（BF特征）框的左半部分中示出。我们可以看到FF Branch将注意力转移到从其更高级别预测的前景区域，以探索前景显着性提示。在卷积层之后，给出了不确定区域的更优先级。互补的是，BF分支专注于探索背景线索的背景区域，正在寻找其中可能的突出对象。在我们的BIANET中，自上而下的预测上取样是一种过程，其中突出物体的分辨率逐渐增加。它将导致不确定的粗糙边缘。我们可以看到FF和BF的两个都侧重于不确定区域（例如对象边界）。低电平和高分辨率的FF分支将消除不确定区域的溢出，而BF分支将消除不属于背景的不确定区域。这是Bianet在细节上更好地表现更好的一个重要原因，并且容易预测尖锐的边缘。在联合推断之后，我们可以看到双边增强的特征包含前景和背景的更多辨别空间信息。产生的残余部件在边缘上具有鲜明的对比度，然后抑制背景区域并加强前景区域。

2.3 MBAM

场景中的突出物体在位置，尺寸和形状中是各种各样的。因此，在高级层中探索多级上下文以了解场景。为此，我们使用多尺度版本扩展BAM，其中扩张卷积组用于从未确定的前景和背景区域提取金字塔表示。具体地，该模块可以被描述为：

为了直观地观察MBAM所带来的增益效果，我们可以在上图可视化来自MBAMS和BAM的平均前景第一特征映射。在第二行中，从其前三个级别中的三个MBAM获得特征映射，而在最后一行中，所有特征映射都是从BAM收集的。我们可以看到目标对象（马）占这一场景的大部分。如果没有能力感知多尺度信息，则BAM不能捕获高水平的准确全球凸极区域，并最终导致不完全预测。在引入多尺度扩展时，我们可以看到更高级别的功能实现更强大的空间表示，这支持找到更完整的突出对象。

三、实验