RGB-D Salient Object Detection withCross-Modality Modulation and Selection

摘要：

针对RGB-D显著目标检测(SOD)问题，提出了一种有效的方法来逐步整合和完善交叉通道互补。该网络主要解决了两个具有挑战性的问题:1)如何有效地整合来自RGB图像及其对应深度图的互补信息，2)如何自适应地选择更显著相关的特征。首先，我们提出了一个跨模态特征调制(cmFM)模块，以深度特征为先验，建模RGB-D数据的互补关系，增强特征表示。其次，我们提出了自适应特征选择(AFS)模块来选择显著性相关的特征并抑制较差的特征。AFS模块采用多模态空间特征融合，考虑信道特征的自模态和跨模态相互依赖性。第三，我们采用显著性引导的位置边缘注意(sg-PEA)模块，鼓励我们的网络更多地关注与显著性相关的区域。以上模块作为一个整体，称为cmMS块，便于以一种从粗到细的方式对显著特征进行细化。再加上一个自底向上的推断，精细的显著性特征使SOD的准确性和边缘保留成为可能。大量的实验证明，我们的网络在6个流行的RGB-D SOD基准测试中优于最先进哦哦的显著性检测器。

2.引言

       首先，我们提出了一个跨模态特征调制(cmFM)模块，以相应的深度特征为先验，增强RGB特征表示。这与执行输入融合[30]、早期融合[19]或晚期融合[18]的流行策略相反，后者粗略地连接或添加多模态信息。提出的调制设计通过特征变换实现了多模态信息的有效集成，清晰地模拟了不可分割的跨模态关系，减少了多模态数据内在不一致性造成的干扰。

      其次，我们设计了自适应特征选择(AFS)模块，强调不同通道特征在自模态和交叉模态中的重要性，同时以门控方式融合多模态空间特征。这与以往RGB-D SOD算法不同，以往的算法平等且独立地对待不同模态的通道特征。放宽这些假设，使得我们的方法能够自适应地从空间特征和通道特征中选择更显著相关的特征，并抑制较差的特征。它还可以缓解深度图捕捉的不当的负面影响。因此，我们的网络在处理不同信息时具有额外的灵活性。我们还通过引入显著性导向的位置边缘注意(sg-PEA)模块来强调显著性相关的位置和边缘，该模块从预测的显著性图和显著性边缘图中收集其注意权值。

       本方法的独特之处在于特征调制和注意机制以一种由粗到细（coarse-to-fine）的方式紧密耦合。具体来说，融合首先由cmFM模块执行，以提供丰富的特性表示。与我们的AFS模块协调，突出相关的特征被强调，而冗余特征被抑制。与显著性相关的特性由sg-PEA模块进一步细化。cmFM、AFS和sg-PEA模块的精心设计允许跨模态互补以一种从粗到细的方式通过调制、选择和细化，为我们的网络提供精确的显著特性。再加上自底向上的推断，精确的显著性特征使我们能够执行更准确、更健壮的SOD。

贡献

    提出了一种有效的处理RGB-D SOD的方法。有效地整合了交叉互补，自适应地选择了显著性相关特征。这是通过设计一种由粗到精的融合实现的，该融合包括

1)一个跨模态特征调制模块，通过将相应的深度特征作为先验学习最优仿射变换参数，可灵活调制多层次RGB特征，增强RGB特征表示。

2)自适应特征选择模块，在融合重要的多通道空间特征的同时，逐步强调自通道特征和跨通道特征的重要性，有效捕获不同模态之间的关系。在六个流行的RGB-D SOD基准测试中，该方法始终优于最先进的SOD方法。

3. 相关工作

3.1 显著性目标检测

        本文工作：

        1)采用深度特征作为先验学习最优仿射变换参数，可灵活调制多层次RGB特征;

         2)同时考虑自模态和跨模态信道特征以及多模态空间特征，有效捕捉不同模式之间的关系。

3.2 特征调制

        受FiLM的启发，本文工作以相应的深度特征为条件调整多层次特征表示。此外，设计了基于像素的跨模态特征调制，为特征提供了精细和细粒度的控制。 

3.3 注意机制

          注意机制的应用日趋多样化，如空间注意、双重注意、自我注意、多层次注意、通道注意等。相比之下，本文在自适应特征选择模块中采用了注意机制，在以门控方式融合重要的多通道空间特征的同时，探索了自模态和跨模态信道特征的相互依赖性。