RGB-D salient object detection: A survey 综述

摘要：显著对象检测是模拟场景中最重要物体的视觉感知，已广泛应用于各种计算机视觉任务。现在，深度传感器的出现意味着深度地图可以很容易地捕获；这种额外的空间信息可以提高显著目标检测的性能。虽然在过去的几年中，已经提出了各种基于RGB-D的具有良好性能的显著目标检测模型，但对这些模型和该领域的挑战仍然缺乏深入的理解。本文从不同的角度对基于RGB-D的显著对象检测模型进行了全面的调查，并详细回顾了相关的基准数据集。此外，由于光场也可以提供深度图，我们也回顾了来自该领域的显著对象检测模型和流行的基准数据集。此外，为了研究现有模型检测显著对象的能力，我们对几个具有代表性的基于RGB-D的显著对象检测模型进行了基于属性的综合评估。最后，我们讨论了几个挑战和解决问题。
question:

1、introduction
1.1背景
突出对象（显著性目标）检测的目标是定位给定场景[1]中视觉上最突出的对象。它在立体匹配[2]、立体匹配[2]、图像理解[3]、共显著性检测[4]、动作识别[5]、视频检测与分割[6-9]、语义分割[10,11]、医学图像分割[12-14]、目标跟踪[15,16]、人再识别[17,18]、伪装对象检测[19]、图像检索[20]等一系列现实应用中发挥着关键作用。虽然在过去的几年里，显著的物体检测领域取得了重大进展[21-35]，但当面对具有挑战性的因素，如复杂的背景或不同的照明条件时，仍有改进的空间。克服这些挑战的一种方法是使用深度图，它提供与RGB图像互补的空间信息，并且由于深度传感器(如微软Kinect)的现成可用性而变得更容易捕获。
近年来，基于RGB-D的显著对象检测受到了越来越多的关注，[38,45]开发了多种方法。早期基于RGB-D的显著对象检测模型倾向于提取手工制作的特征，然后融合RGB图像和深度图。例如，Lang等人。[46]是第一个基于RGB-D的显著性目标检测的工作，它利用高斯混合模型来模拟深度诱导的显著性的分布。Ciptadi等人。[47]从深度测量中提取了三维布局和形状特征。有几种方法利用不同区域之间的深度差异来测量深度对比度。在参考文献中。[51]是一种包括局部对比、全局对比和背景对比在内的多背景对比模型，用于使用深度图检测显著对象。然而，更重要的是，这项工作也为显著的对象检测提供了第一个大规模的RGB-D数据集。尽管使用手工制作功能的传统方法很有效，但它们的低级功能往往是为了限制泛化能力，而且它们缺乏对复杂场景所需的高级推理。为了解决这些限制，我们已经开发了几种基于深度学习的RGB-D显著目标检测方法[38]，并提高了性能。DF[52]是第一个将深度学习技术引入基于RGB-D的显著目标检测任务的模型。最近，各种基于深度学习的模型[41-44,53-55]都专注于利用有效的多模态相关性和多尺度或水平信息来提高显著对象检测性能。为了更清楚地描述基于RGB-D的显著目标检测领域的进展，我们在图中提供了一个简短的年表。 2.在本文中，我们对基于RGB-D的显著对象检测进行了全面的调查，旨在全面涵盖用于该任务的模型的各个方面，并为未来工作的挑战和开放的方向提供深刻的讨论。我们还回顾了一个相关的主题，光场显著目标检测，因为光场也可以提供额外的信息（包括焦点堆栈、全聚焦图像和深度图），以提高显著目标检测的性能。此外，我们对现有的基于RGB-D的显著目标检测模型进行了全面的比较评价，并讨论了其主要优点。

fig.1 使用两种经典模型：DCMC[36]和SE[37]对样本图像进行显著对象预测，同时使用的是7种最先进的深度模型：D3Net[38]，SSF[39]，A2dele[40]，S2MA[41]，ICNet[42]，JL-DCF[43]，和UC-Net[44]。

1.2Related reviews and surveys
几项调查考虑了显著的物体检测。例如，Borji等人[59]对35种最先进的非深度学习显著性检测方法进行了定量评估。Cong等人[60]综述了几种不同的显著性检测模型，包括基于RGB-D的显著目标检测、共显著性检测和视频显著目标检测。Zhang等人[61]提供了共显著性检测的概述，并回顾了其历史，并总结了该领域的几种基准算法。Han等人[62]回顾了在显著对象检测方面的最新进展，包括模型、基准数据集和评估度量，并讨论了一般对象检测、显著对象检测和类别特定对象检测之间的潜在联系。Nguyen等人[63]审查与显著性应用相关的各种工作，并提供了对显著性的作用的深刻的讨论。Borji等人[64]对显著对象检测的最新进展进行了全面的综述，并讨论了相关主题，包括一般场景分割、固定预测的显著性和对象提案的生成。Fan等人。[1]提供了几种最先进的基于cnn的显著目标检测模型的全面评估，并提出了一个高质量的显著目标检测数据集，SOC(见：http://dpfan.net/socbenchmark/)。赵等人[65]详细回顾了各种基于深度学习的对象检测模型和算法，以及各种特定的任务，包括显著的目标检测。Wang等人[66]专注于回顾基于深度学习的显著对象检测模型。与以往的显著目标检测调查不同，在本文中，我们重点回顾了基于RGB-D的显著目标检测模型和基准数据集。
1.3 Contributions and organization
我们的贡献和组织是：第一次对基于RGB-D的显著对象检测模型进行系统的回顾。

• 我们将现有的RGB-D显著对象检测模型分为传统或深度方法、融合方法、单流或多流方法和注意感知方法（第2节）；

• 对该领域常用的9个RGB-D数据集的回顾，给出了每个数据集的详细信息（第3节）。

• 我们还对几个具有代表性的基于RGB-D的显著目标检测模型提供了全面的、基于属性的评估（第5节)；

• 光场显著目标检测模型和基准数据集的首次调查(第4节）；

• 深入研究了基于RGB-D的显著目标检测所面临的挑战，以及显著目标检测与其他主题之间的关系，阐明了未来研究的潜在方向（第6节&