文献阅读（四）：Saliency Detection For Stereoscopic Images

1. Saliency Detection For Stereoscopic Images

摘要

显著性检测技术已广泛应用于各种二维多媒体处理应用中。目前，立体显示的新兴应用需要新的立体图像的显著性检测模型。与二维图像的显著性检测不同，立体图像的显著性检测需要考虑深度特征。本文提出了一种基于颜色、强度、纹理、深度特征对比的立体显著性检测框架。从离散余弦变换（DCT系数）提取出颜色、亮度、纹理和深度等四种特征来表示图像patch值。考虑局部对比度和全局对比度的计算，采用了图像patch间空间距离的高斯模型。设计了一种新的融合方法，将特征图结合在一起，计算立体图像的最终显著性图。

●本文方法:

本文提出了一种基于颜色、亮度、纹理、深度特征对比的显著性检测框架。该模型基本建立在图像patch之间的对比度上，用来表示图像patch的中心环绕差值。DCT(离散余弦变换)是信号压缩的一种优越的表示方式，大多数信号信息集中在低频分量上。由于DCT具有紧致性，被广泛应用于各种信号处理应用中。该算法首先将输入图像和深度图划分为小的图像块。根据原始图像中每个图像patch的DCT系数提取颜色、亮度和纹理特征，根据深度图中每个图像patch的DCT系数提取深度特征。特征对比度是根据图像斑块之间的中心周围特征差异计算出来的，通过考虑局部对比度和全局对比度的高斯空间距离模型进行加权。摘要基于特征图的紧性特性，设计了一种新的融合方法来融合特征图，得到三维图像的最终显著性特征图。

1. Feature Extraction：

    将输入图像分割成小的图像块，然后使用DCT系数来表示每个图像块的权重。将其转换为YCbCr颜色空间。在YCbCr颜色空间中，Y分量表示亮度信息，Cb和Cr是两种颜色分量。用Y分量的AC系数来表示图像patch的纹理特征。

对于深度特征：首先基于视差计算感知的深度信息。

图像对的深度映射M可以计算为：

提取出颜色、亮度、纹理和深度的五个特征(L;C1;C2;T;D)为输入的立体图像。

1. Feature Map Calculation：

计算图像patch的特征对比度。考虑HVS特性。使用图像patch间空间距离的高斯模型来加权特征对比度来计算特征映射：

从这个方程可以看出，每个图像patch的显著性值都是基于所有其他图像patch的特征对比度计算出来的。由于来自不同空间距离的图像斑块权重值不同，该模型考虑了局部对比度和全局对比度的显著性估计。

由于颜色、亮度和深度特征都是用直流系数表示的，因此可由DC系数之间的差值计算：

计算9个低频AC纹理特征：

t：表示1~9个AC纹理特征。

1. Feature Map Fusion：

将颜色、亮度、纹理和深度特征融合到一起，计算出最终的显著性映射。以往3D显著性检测使用简单的线性组合融合特征，得到最终的显著性映射。线性组合的权值设置为常量，所有图像的权值相同。

本文提出了一种新的特征融合自适应加权方法。（特征图的空间方差）。

对具有小而紧凑的显著区域的feature map，赋予更大的权重。

特征图的空间方差：

1. j）为特征图的空间位置，，，。

规范化υk值代表密实度（紧密度）属性特征图。随着空间方差值的增大，feature map应该会变得不紧凑。
    计算密实度βk如下：

最终显著性映射的特征映射融合：

第一项表示特征图按相应的紧性加权的线性组合；而第二项是用来增强任何两种不同的特征图都能探测到的共同突出区域。文中提出的融合方法是根据不同图像的紧凑性的差别给不同图像分配不同的加权值。