RGB-D Salient Object Detection withCross-Modality Modulation and Selection

最新推荐文章于 2024-01-13 23:47:59 发布

飞天小女侠~

最新推荐文章于 2024-01-13 23:47:59 发布

阅读量472

点赞数

文章标签：目标检测自动驾驶人工智能

本文链接：https://blog.csdn.net/xuan971130/article/details/121119473

版权

摘要：

针对RGB-D显著目标检测(SOD)问题，提出了一种有效的方法来逐步整合和完善交叉通道互补。该网络主要解决了两个具有挑战性的问题:1)如何有效地整合来自RGB图像及其对应深度图的互补信息，2)如何自适应地选择更显著相关的特征。首先，我们提出了一个跨模态特征调制(cmFM)模块，以深度特征为先验，建模RGB-D数据的互补关系，增强特征表示。其次，我们提出了自适应特征选择(AFS)模块来选择显著性相关的特征并抑制较差的特征。AFS模块采用多模态空间特征融合，考虑信道特征的自模态和跨模态相互依赖性。第三，我们采用显著性引导的位置边缘注意(sg-PEA)模块，鼓励我们的网络更多地关注与显著性相关的区域。以上模块作为一个整体，称为cmMS块，便于以一种从粗到细的方式对显著特征进行细化。再加上一个自底向上的推断，精细的显著性特征使SOD的准确性和边缘保留成为可能。大量的实验证明，我们的网络在6个流行的RGB-D SOD基准测试中优于最先进哦哦的显著性检测器。

2.引言

首先，我们提出了一个跨模态特征调制(cmFM)模块，以相应的深度特征为先验，增强RGB特征表示。这与执行输入融合[30]、早期融合[19]或晚期融合[18]的流行策略相反，后者粗略地连接或添加多模态信息。提出的调制设计通过特征变换实现了多模态信息的有效集成，清晰地模拟了不可分割的跨模态关系，减少了多模态数据内在不一致性造成的干扰。

其次，我们设计了自适应特征选择(AFS)模块，强调不同通道特征在自模态和交叉模态中的重要性，同时以门控方式融合多模态空间特征。这与以往RGB-D SOD算法不同，以往的算法平等且独立地对待不同模态的通道特征。放宽这些假设，使得我们的方法能够自适应地从空间特征和通道特征中选择更显著相关的特征，并抑制较差的特征。它还可以缓解深度图捕捉的不当的负面影响。因此，我们的网络在处理不同信息时具有额外的灵活性。我们还通过引入显著性导向的位置边缘注意(sg-PEA)模块来强调显著性相关的位置和边缘，该模块从预测的显著性图和显著性边缘图中收集其注意权值。

本方法的独特之处在于特征调制和注意机制以一种由粗到细（coarse-to-fine）的方式紧密耦合。具体来说，融合首先由cmFM模块执行，以提供丰富的特性表示。与我们的AFS模块协调，突出相关的特征被强调，而冗余特征被抑制。与显著性相关的特性由sg-PEA模块进一步细化。cmFM、AFS和sg-PEA模块的精心设计允许跨模态互补以一种从粗到细的方式通过调制、选择和细化，为我们的网络提供精确的显著特性。再加上自底向上的推断，精确的显著性特征使我们能够执行更准确、更健壮的SOD。