RGB-D Salient Object Detection withCross-Modality Modulation and Selection

摘要：

针对RGB-D显著目标检测(SOD)问题，提出了一种有效的方法来逐步整合和完善交叉通道互补。该网络主要解决了两个具有挑战性的问题:1)如何有效地整合来自RGB图像及其对应深度图的互补信息，2)如何自适应地选择更显著相关的特征。首先，我们提出了一个跨模态特征调制(cmFM)模块，以深度特征为先验，建模RGB-D数据的互补关系，增强特征表示。其次，我们提出了自适应特征选择(AFS)模块来选择显著性相关的特征并抑制较差的特征。AFS模块采用多模态空间特征融合，考虑信道特征的自模态和跨模态相互依赖性。第三，我们采用显著性引导的位置边缘注意(sg-PEA)模块，鼓励我们的网络更多地关注与显著性相关的区域。以上模块作为一个整体，称为cmMS块，便于以一种从粗到细的方式对显著特征进行细化。再加上一个自底向上的推断，精细的显著性特征使SOD的准确性和边缘保留成为可能。大量的实验证明，我们的网络在6个流行的RGB-D SOD基准测试中优于最先进哦哦的显著性检测器。

2.引言

       首先，我们提出了一个跨模态特征调制(cmFM)模块，以相应的深度特征为先验，增强RGB特征表示。这与执行输入融合[30]、早期融合[19]或晚期融合[18]的流行策略相反，后者粗略地连接或添加多模态信息。提出的调制设计通过特征变换实现了多模态信息的有效集成，清晰地模拟了不可分割的跨模态关系，减少了多模态数据内在不一致性造成的干扰。

      其次，我们设计了自适应特征选择(AFS)模块，强调不同通道特征在自模态和交叉模态中的重要性，同时以门控方式融合多模态空间特征。这与以往RGB-D SOD算法不同，以往的算法平等且独立地对待不同模态的通道