《Enhanced disparity estimation in stereo images》（2015）

摘要：本文提出的立体深度估计的方法，结合三种不同的成本指标，包括RGB information,，CENSUS转换和SIFI系数。为了计算相应的成本量，选择的成本指标的聚合是基于自适应权重的方法。采用新颖的两阶段策略，通过利用扫描线进一步细化，所产生的成本量合并为一个合并成本。采用mean-shift segmentation-driven方法去除异常值，在低纹理区域采用深度柱状图分析，最后一种高效的两步法用来做平滑处理。最后实验验证了本文方法的效率。

 

 

研究现状：立体重建是计算机视觉领域最活跃的研究方向，从图像中恢复稠密深度图仍然存在很多挑战。因为仍然有提高精度的空间，并提供处理均匀区域，深度不连续性和遮挡的新方法。目前提出的新方法主要是从提高重建精度和减小计算成本方面入手。

立体匹配的基本步骤：1、计算匹配成本。2、成本聚合。3、视差计算。4、视差图优化。常用的基于像素的成本度量包括图像强度值的绝对值差，基于梯度的度量和非参数变换（如spearman，CENSUS和rank）。许多方法结合了多种成本计算以提高精度。在这篇论文中（Segment-based Stereo Matching Using Belief Propagation and a Self-adapting Dissimilarity Measure）基于自适应相异度量，同时结合了图像强度值的绝对值差和梯度值差。在（Stereo Matching with Reliable Disparity Propagation；Information Permeability for Stereo Matching, Elsevier Signal Processing: Image Communication；On Building an Accurate Stereo Matching System on Graphics Hardware；）文中探索了图像强度值的绝对值差结合CENSUS变换距离的汉明距。为了减少匹配模糊性，基于像素的匹配成本在DSI中的支持区域上进行空间聚合。

为了减少匹配模糊性，基于像素的匹配成本在DSI中的支持区域上进行空间聚合。不同成本汇总方法的性能评估表明，自适应加权和分段支持优于剩余的成本汇总方法。最近的成本汇总方法包括连续加权求和和导向图像过滤器。

在视差计算的方法中，包括局部、全局、混合、半全局等方法。局部方法通过匹配成本计算和成本聚合。通过针对每个像素独立应用简单的本地赢者通吃（WTA）方法来计算最终的视差图。全局优化方法旨在为每个像素分配一个视差标签，以便在整个图像区域内将全局成本函数最小化。

视差的结果需要优化，需要在闭塞区域，深度不连续区域和纹理不丰富区域剔除异常值。

本文贡献：1、用三个步骤结合三种匹配成本，第一步，结合RGB-CENSUS information。第二部只使用CENSUS，第三步只使用SIFT信息。成本指标使用自适应权重进行汇总，并获取其成本量。 然后采用可靠的两阶段战略，将各项成本合并为一个合并成本。首次有效地将RGB information、CENSUS、SIFT结合。

2、本文探索了mean-sif 图像分割法的应用在我们的方法中，平面拟合仅适用于对应于大均匀区域的分段，而不适用于所有分段。这可能减少了我们方法对视差平面拟合结果的依赖性，这可能减少分割区域的准确性，由于包含的差异数量减少。另外需要使用一个度量来验证平面拟合是否成功，因为不是所有的大的均匀区域都可以被认为是平面的。分割也是视差优化中重要的一步，mean-shift segmentation-driven方法去除异常值，可以用来做平滑处理，改进的扫描线方法用于优化结合的代价体。

3、在大的平滑区域采用直方图分析，在平面拟合之前用于消除来自大均匀区域的异常值差异。

本文算法框图：

 

预处理：1、图像校正使其极线对齐。

        2、用mean-shift做图像分割，立体图像最初使用现有技术的均值偏移分割软件分割成非重叠区域，其依赖于颜色和边缘信息。分割球体半径取3，分割特征空间半径取3.

 

匹配代价计算：本阶段考虑估算两个像素之间相似度的代价度量。RGB值的绝对值差（AD），加权CENSUS系数的绝对值差，SIFT系数的绝对值差在本文中用来进行代价计算。原因如下：RGB信息在存在深度不连续的区域给出更好的结果；CENSUS能够应对辐射变化和噪音；SIFT改善了纹理未覆盖区域的结果。

1、加权CENSUS转换。

I(X)表示中心点的像素强度。

权重向量为靠近中心像素的像素提供更大的权重，因为它们被认为比位于更远处的像素更可靠。

2、基于SIFT的代价

参数设置为：分区域的大小Np=1,高斯导数的比例因子σDOG =1，Ns=2。这些参数定义了由NS×NS子区域组成的SIFT描述符，其子区域的大小等于NP×NP像素。使用高斯微分滤波器计算SIFT的水平和垂直响应，而使用快速各向异性高斯微分滤波器计算对角响应，两者都使用σDOG 的比例。当使用更大的支持区域来提取SIFT描述符（通过增加NP/NS时），在估计视图中前景育肥效应更明显。

3、代价度量

参数的变化范围是[0,1]。

 

代价聚合：

1、自适应代价聚合

使用2*2领域的中值滤波器以在输入立体图像上计算自适应权重，以减轻图像噪声喝微妙的非朗伯效应。

2、总成本的组合

第一阶段：G(x)定义为全局最小代价，L(x)定义为局部最小代价。

当δ 趋近于0时，二者趋向于一致。

第二阶段：

组合SIFT聚合代价，在深度不变的纹理未遮挡区域提供可靠的深度。

用3*3的中值滤波器去除异常值。

视差优化：

1、检测异常值

深度图dLR(X) 是以左边视图作为参考图像，深度图dRL(X) 是以右边图像作为参考图像，用来用来检测问题区域，尤其是遮挡和深度不连续区域。

令TLR =1。

 

2、半全局扫描线优化

两个标准用于检查深度不连续性，并因此计算平滑项π1和π2。

第一个，沿着所考虑的路径方向检查当前像素与前一个像素之间的强度差异。

第二个，检查沿着所考虑的路径方向的当前像素和前一个像素是否属于相同的平均偏移段。

最后得到聚合代价：

 

视差图细化：

遮挡处理：1、遮挡检测，用mean-shift颜色分割映射。2、基本的遮挡处理。3、基于分割的mean-shift处理。分为可靠分割和不可靠分割。4、综合遮挡处理。

深度图边缘细化：第一步检测并处理较粗糙级别的视差边缘。第二步处理较细的边缘。使用canny检测器。

统一区域处理：1、检测统一区域。2、内部像素区域检测。3、基于直方图分析提取可靠像素。4、平面拟合。

 

实验结果：

1、通过实验得到最佳参数。

2、与其他算法比较的优劣排名。

3、

non-occluded regions – Nonocc

all regions – all

regions near depth discontinuities – Disc

 

4、

随着对深度图像的处理，坏像素率的下降。

 

5、

分割参数的测试。

 

6、

耗时及每阶段所占的比率。