RGB-D Salient Object Detection using background enclosure, depth contrast, and top-down features论文笔记

论文地址: http://openaccess.thecvf.com/content_ICCV_2017_workshops/papers/w40/Shigematsu_Learning_RGB-D_Salient_ICCV_2017_paper.pdf

研究背景

深度神经网络因较可以较好的将自顶向下的特征和低维度特征结合起来，因此在对于RGB图像的显著性检测上取得了较好的表现。然而，许多实验表明，图片的深度信息也会较大的影响人们对视觉信息中显著物体的感知。而目前对于基于RGB-D的显著性物体检测的研究仍有较多的局限性，因此作者提出了一个新颖的针对RGB-D的显著性检测模型， 模型较好的利用了网络自顶向下以及自底向上的信息，检测效果超过了当时最先进的检测算法。

主要贡献

论文的主要贡献如下：

• 提出了一个新颖的可学习框架，并第一次结合了自顶向下和自底向上的检测方法完成RGB-D的物体显著性检测。
• 引入了背景附加信息分布(BED)，一个新颖的，较好的学习到背景附加信息的深度（depth）特征层.
• 引入了一些列的地位特征信息比如深度对比度（Depth contrast）和深度直方图距离(Depth histogram distance)来较好的提高检测的效果。

作者将之前的基于高维特征的RGB 图片物体显著性检测算法和基于低维度特征信息的RGB物体显著性检测算法的优点结合起来，提出了一个全新的检测框架。模型的整体架构如下：

方法介绍

1.BED 特征

BED 特征是利用输入的深度信息图所提取出的中层特征，捕捉到了每个超像素点附近深度信息的变化。作者定义了一个前景方程f(P，t)和一个背景方g(P, t)。

其中，P代指一个超像素点，t代指深度的阈值。 f(P, t)本质上衡量的是超像素点P在不同方向上深度信息的变化，f计算了其周围所有深度信息大于depth§ + t 的， b 则计算了P周围所有小于depth§ + t的。作者希望得到不同阈值t下的f和g的分布。因此定义了如下公式：

其中(a，b)和(c，d)均代表了不同的深度范围。BED特征包含了两个不同的关于F和G的分布集合。

其中q用于控制BED特征层的数量，σ代表整个深度信息图最大最小值的差。结果会产生2q个BED 特征, 特征图的大小维20 * 20。

2、低维度特征信息

为了更好的分析背景信息， 作者同样提取了深度对比度等低维深度特征。作者首先利用SLIC算法将原始RGB图像转换为一堆超像素（18 * 18）。每布训练只关注其中一个超像素分析其显著性。

作者首先计算关注到的超像素的平均深度图（20 * 20）,[这个具体如何计算的我不是很清楚， 感觉论文说的不是很清楚，如果有代码的话，后续会补上]

然后将原始深度信息图划分为20 * 20 块，计算没一块的平均值得到一个20 * 20 的网格深度信息特征图。

接着将超像素的平均深度图与原始图的网格深度图做差，得到深度信息对比图。

最后作者根据深度值的范围，将深度值划分到八个范围中。计算超像素点和每一个网格的卡方距离。计算公式如下。

其中，x_i 代指超像素P包含的所有像素点中， 深度值在范围i 的个数， y_i代指网格y中像素点深度值在范围i的个数。

3、RGB 低维度和高维度特征

前面的操作都是为了分析深度图所提供的信息， 为了更好的完成显著性检测，同样需要对RGB图像进行分析，作者利用改进后的 ELD-Net提出RGB图像的高维度和低纬度特征。如框架图所示， 将RGB特征和深度信息特征拼接在一起进行分类，最终得到某个超像素点的显著性。预测结果的损失函数为：

部分实验结果展示