Deep RGB-D Saliency Detection with Depth-Sensitive Attentionand Automatic Multi-Modal Fusion

最新推荐文章于 2022-07-24 18:12:50 发布

小羊咩~

最新推荐文章于 2022-07-24 18:12:50 发布

阅读量901

点赞数

分类专栏： RGB-D 文章标签：人工智能

本文链接：https://blog.csdn.net/m0_58702532/article/details/125741105

版权

RGB-D 专栏收录该内容

30 篇文章 19 订阅

订阅专栏

Deep RGB-D Saliency Detection with Depth-Sensitive Attention and

Automatic Multi-Modal Fusion

深度敏感注意和自动多模态融合的深度 RGB-D 显着性检测

CVPR2021

一动机

RGB-D 显着目标检测 (SOD) 通常被表述为对两种模式（即 RGB 和深度）的分类或回归问题。因此，有效的 RGBD 特征建模和多模态特征融合在 RGB-D SOD 中都起着至关重要的作用。

二方法

提出了一种使用显著对象的深度几何先验的深度敏感 RGB 特征建模方案。原则上，特征建模方案是在深度敏感的注意力模块中进行的，通过先验深度几何来增强 RGB 特征以及减少背景干扰。

此外，为了进行有效的多模态特征融合，我们进一步提出了一种用于 RGB-D SOD 的自动架构搜索方法，该方法可以很好地从我们专门设计的多模态多尺度搜索空间中找出可行的架构。

三网络框架

整个网络由一个RGB分支、一个深度分支和一个专门设计的融合模块组成，RGB分支基于VGG-19[53]，深度分支是一个轻量级的深度网络，用于获取不同尺度的深度特征。

在RGB分支中的每个池化之后插入一个深度敏感注意模块（DSAM），它是利用原始的深度图来增强RGB特征，具体是怎么增强的呢？将原始深度图分解成多个区域，如果在这个区域中，像素值具有相同的深度分布，那么将这个区域视为空间注意力图，提取相应的RGB特征。

然后将两个分支提取的特征送到作者提出的多模态多尺度模块。作者设计了一个适用于多模态多尺度融合的搜索空间，该空间包含了4种不同的结构：多模态融合MM，多尺度融合MS，全局上下文聚集GA，空间信息恢复SR

3.1 深度敏感注意

提出了一种深度敏感的RGB特征建模方案，包括深度分解和深度敏感的注意力模块。通过3(a)步骤将原始深度图分解为T+1个区域。最后，每个区域归一化为[0,1]，作为后续过程的空间注意掩模。

在获得这些注意力掩模后，在DSAM中，所获得的注意掩码在RGB分支中产生T+1个子分支，如图3(b)。对这T+1个分支进行池化，将尺寸调节为和RGB特征尺寸一致，然后，利用调整大小的掩码来提取T+1个并行子分支中的深度敏感特征。具体过程为：将每个掩码与RGB特征进行相乘，然后使用1x1卷积作为过渡层，从不同的深度区间对RGB特征进行细化，然后使用加法将得到的T+1个深度敏感特征聚合在一起，最后，使用残差连接，得到最终的特征。

这样，DSAM不仅为RGB特征提供了基于深度的几何先验知识，而且消除了难以处理的背景干扰（如杂乱物体或相似纹理）。