【PDP】RGB-‘D’ Saliency Detection With Pseudo Depth

【PDP】RGB-‘D’ Saliency Detection With Pseudo Depth

IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 28, NO. 5, MAY 2019

动机

1. 显著性目标检测还是以RGB图为主
2. 人脑可以从仅 RGB 的图中提取场景的几何模型，提供场景的 3D 感知（脑补）

措施

RGB-'D' ：

从 单个RGB 图像中估计伪深度（与人类感知一致）作为补充信息来辅助显著性检测

注意：其实所谓的伪深度就是单目深度估计

伪深度图

       适用于 低对比度、复杂的背景和结构，将前景对象与背景分离

媒介传输模型medium transmission model（空气光）

伪深度信息是受到介质传输模型（光能从场景转换到相机的特点）的启发，设计出一个基于场景表面点和相机之间的距离来计算伪深度信息。

根据大气光学，光能的衰减是由于沿着传输路径的粒子总是散射光，而散射意味着粒子吸收一部分入射光并作为一个光源。而从场景表面点到相机的光有不同的传输路径，在图像的不同位置捕获的光能包含传输路径的距离。

令 (x，y) 表示场景点的空间坐标，t (x，y) 测量相应的介质传输，S(x，y) 是真实世界场景的辐射度。然后S(x，y)·t (x，y) 测量 “未被场景衰减并到达相机的光能”，也称为场景直接衰减。Es和Ee分别表示来自场景和环境的能量。

I（ｘ，ｙ）表示在位置下ｘ，ｙ的RGB图像， L表示环境光，这可以认为是均匀的并且被视作一个常量。则 从环境光得到的亮度。并且从场景反射光随光传输路径而减弱，从环境光得到的能量随着光传输路径而增强。

传输图ｔ可以通过暗通道先验去计算得到：

以上模型是基于室外的场景，但是室内场景却不适用，本文也提出了一个室内的深度预测方法：

当入射光来自于空气光时，可以使用上述模型，但是当入射光来自于电子光时，就不能使用上述的投射模型。为此本文提出了一个反转捕获图像强度去模拟真实的光强，基于这一思想，我们提出了一种鲁棒的伪深度度量，称为半逆图像深度semi-inverse image depth。

根据图像I，计算半逆图像，公式如下：

其中，LTNｃ代表图像的中心区域的亮度，LTN代表图像围绕中心区域部分的亮度。 是光照系数。

首先将图像划分为3×3块，LTNc和LTNs分别是中心块和周围块中像素的平均明度值，根据经验将系数λ设置为0.9。

在接下来的实验中，对估计的深度进行归一化和反转，以获得最终的伪深度

作为RGB-'D'显著性检测框架下的应用，我们开发了一种基于伪深度先验（PDP）的无监督算法。

使用超像素分割算法（线性迭代聚类（SLIC）算法）对输入图像进行分割，以生成基本的处理单元。由于其效率，将图像分割为N个超像素。对于每个超像素，提取颜色、深度和纹理特征，以便计算各自的对比度信息。聚合颜色、深度和纹理对比度度量，获得初始的前景对比度图。另一方面，我们基于提出的伪深度推导出背景先验。然后通过优化将背景先验和前景对比度融合在一起。经过后处理步骤后，算法输出输入图像的显著性图。我们还可以对显著性图进行二值化步骤以获得二值化版本。

超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。

超像素是把一幅像素级（pixel-level）的图，划分成区域级（district-level）的图，是对基本信息元素进行的抽象