Edge-preserving guided filtering based cost aggregation for stereo（2016）

摘要：立体匹配已经广泛用于各种计算机应用中，并且它仍然是一个具有挑战性的问题。在立体匹配中，基于滤波器的立体匹配方法已经实现了出色的性能。本文提出了一种基于自适应边缘保持引导滤波器的局部立体匹配方法，可以实现适当的匹配代价滤波，保持边缘良好。在本算法中将由所提出的滤波器生成的增强图像的梯度强度和Census方法引入匹配代价的计算中。该匹配代价的计算方法对于辐射变化和无纹理区域是鲁棒的。提出了边缘保持引导滤波器方法来进行代价聚合，进一步证明了边缘保持滤波器对立体匹配的有效性。在Middlebury基准测试和KITTI基准测试中进行的实验表明，与其他基于边缘感知滤波器的方法相比，所提出的算法产生更好的结果。

1、概述：立体匹配作为在计算机视觉具有一定挑战的研究问题，它在三维重建，自动驾驶系统导航，全景立体成像和DoF渲染等领域有广泛的应用。主要的问题是要在两幅图上找到对应的像素点，立体匹配算法主要分为全局算法和局部算法。全局方法通常在能量函数中进行平滑假设，然后通过最小化全局能量来确定视差图。全局算法的主要方法包括动态规划，图割和置信传播。这些全局算法通常在不连续边缘上产生差的结果并导致条纹伪像。大部分的全局优化方法需要更复杂全局模型，所以计算量较大，在实际应用中可行性低。局部匹配方法相对简单，相比于全局方法，时间花销小，大部分局部立体匹配方法的步骤是：1、计算原始匹配成本；2、在局部支持窗口中进行代价聚合；3、选择优化视差。

 

1.1、相关内容

1.1.1、匹配代价

已经研究了许多可以用于计算初始匹配代价的成本计算方法，包括绝对值之差，秩变换和归一化互相关。然而，这些方法假设每个像素及其对应像素具有相等的强度值。它们不适用于通常存在辐射差异的户外图像。Census变换将局部图像信息编码，然后通过汉明距计算匹配代价。该方法在辐射测量失真下是鲁棒，并且已经对其进行了许多改进。Hirschmuller提出基于相关信息的立体匹配方法，它利用概率分布函数，但是基于MI的立体匹配方法中大内核大小导致对象边界中的差的性能。

 

1.1.2、代价聚合

代价聚合是局部立体匹配的重要组成部分，效率和准确性在很大程度取决于此。效率和准确性在很大程度上取决于此。最直接的方法是用低通滤波器，如盒滤波器，高斯滤波器。然而，这些方法在边缘肥胖时效果不佳。为了解决这个问题，已经提出了许多修改的代价聚合策略，例如可变支持窗口（VSW）方法和自适应支持权重（ASW）方法。

VSM方法旨在建立一个大小和形状最合适的支持窗口去适应图像区域。Veksler提出的决定支持窗口的方法是使用积分图像技术来降低代价聚合的复杂度。但是窗口大小的判断十分耗时。Zhang提出了一个新颖的基于交叉的支持窗口，该支持窗口仅由水平和垂直切片组成，并且代价聚合在两个独立方向上独立实现。

近年来，由于ASW突出的性能，大多研究着眼于ASW方法。基于ASW的方法计算每一个像素的权重，Kuk-Jin提出的ASW方法，双边滤波器（BF）用于通过相应像素之间的空间距离和颜色不相似来计算权重，但是双边滤波器的缺点是计算的复杂度高，He et al.提出的引导滤波拥有比双边滤波器精度更高的结果。

 

1.2、动机

在局部方法中，边缘保护器像BF，GF可以在立体匹配中产生良好的效果的同时保护好边缘。与BF相比，GF具有更好的性能和效率。 但GF只是平均像素值而不使用任何加权融合。因此在一些情况下不能很好地保持边缘，在本文中，在GF中加入了边缘保留约束来提高性能。然而在之前的研究中，原始BF或GF函数不能对由具有相似颜色但位于不同视差区域的像素引起的模糊性进行排序。GF的简单与边缘保留因子相结合不能有效地处理模糊性。

为了解决这个问题，加权窗口被用在提出的代价聚合函数中。在相关文献中，已经提出了结合加权支持窗口的引导滤波器，如加权引导滤波器，自适应形状支持窗口引导过滤器，基于交叉的局部多点过滤器。

在分析现有的立体匹配方法之后，本文提出了一种基于局部立体匹配算法的加权边缘保护引导滤波器（AEGF）。首先，将增强的图像引导梯度向量引入匹配成本计算中。将Census变换引入代价计算。这种计算方法可以增加计算的鲁棒性，减少失真和低纹理区域的误差。第二，代价聚合的方法采用边缘保护的引导滤波器。它可以完成适当的滤波和边缘保护，自适应的交叉支持窗口可以有效地解决模糊问题。第三，采用赢者通吃策略去计算原始视差值。最后，应用多步后处理方法来细化视差图。

 

2、基于AEGF方法的立体匹配方法

本文提出的基于AEBF立体匹配算法由以下五个步骤组成：1、预处理。2、匹配代价的计算。3、代价聚合和匹配。4、初始视差计算。5、视差细化

 

（1）预处理：由于噪声和纹理稀疏，输入图像的边缘通常是模糊的。这将会导致视差不一致和较低的精确度。可以用有边缘保护的引导滤波器处理原始图像。

（2）匹配代价计算：运用Census变换和梯度去计算匹配代价。而且，增强图像具有丰富的梯度信息，用于匹配代价计算。

（3）代价聚合：在本文中，采用基于交叉的窗口构建支撑窗口。由于代价聚合需要重复计算，因此基于正交积分图像（OII）技术提出了代价聚合方法以加速该过程。

（4）初始视差计算：使用赢者通吃方法来决定初始视差，也就是说，给出最小成本的视差候选是最佳视差。

（5）视差细化：在上述步骤中生成的视差图包含许多无效匹配和遮挡。因此，许多处理方法在本文中提出。首先，使用左右一致性（LRC）来确定不稳定和无效的像素。一旦检测到异常值，就用垂直和水平方向上最近的有效异常像素校正它们。基于交叉的Occweight过滤用于纠正不稳定的像素。最后，倾斜平面平滑用于后处理结果，这是高效和有效的。

3、边缘保护的引导滤波

3.1、GF和WGF

输入图像I、引导图像G、输出图像

是以P为中心的支持窗口，是窗口半径，q是p中的像素点。

这些值是为了使以下能量函数最小

是归一化系数。

是图像G，I，的平均值。

 

 

然而，在GF中是固定值，会导致边缘模糊。为避免这个问题WGF被提出，新的能量函数被表示为：

其中，

是3*3窗口在引导图像G的方差，选择（0.001*L）^2作为，是一个常量，其中L是I的范围。

但上面提到的边缘感知加权方法不能很好地检测边缘，因为窗口尺寸大小不能完全反映图像信息，并且很难选择合适的。

 

3.2、边缘保护的引导滤波器

以上公式清晰地表明在范围地输出图像取决于，如果是p在平滑区域，为0.如果p处于边缘，则取值为1，这样保护边缘。

是在窗口的均值，Kp用来确保的值接近0或者1，在其分别在平滑和边缘区域时。本文用代替，是为了使看v波窗口适应于形状。

，是，在窗口中的均值。

 

当I=G时，p位于平滑区域，大致接近0，

 

p位于图像边缘区域，大致接近于1，

为增强图像边缘，输出图像为：

通常固定为4。

 

4、匹配代价函数

4.1、原始梯度计算

 

4.2、Census变换的计算

Censusu变换具有对光照强度变换的鲁棒性。

是p的支持窗口，是指欧几里得距离，是指在窗口中的平均值。

视差d的匹配代价为：

Census变换的核心大小通常保持很大以保持鲁棒性（例如，9*7,7*7）。 在这种方法中，窗口大小选择为5* 7，在不影响匹配代价计算质量的情况下降低计算复杂度。

 

4.3、增强的梯度计算

梯度在匹配代价的计算非常有用，原始图像的梯度包括很少的边缘信息。通过边缘保护滤波器，与原始梯度向量相比，它包含更多的边缘信息。

 

4.4、合并的匹配代价

使用初始匹配得到的视差图相比较，分别是在匹配代价中只使用梯度绝对值，Census变换，梯度绝对值加Census变换，本文算法。结果表明，本文算法优于其他方法，并且对噪声和辐射变化更具鲁棒性。

5、代价聚合

5.1、代价聚合

许多立体匹配算法独立地确定每个像素的适当支持窗口以产生准确的结果。 假设在同质区域中具有相似强度的像素可能具有相同的视差。本文中提出一种交叉窗口如图所示;

通过扩展到四个方向来构造窗口，以在像素p周围形成十字形骨架支撑区域。通过扩展到四个方向来构造窗口，以在像素p周围形成十字形骨架支撑区域。

并且我们通过对每个方向的扩展施加指数阈值来进一步改进窗口选择策略以处理无纹理区域，其计算如下

Lpq表示欧几里得距离，表示像素q与p的颜色相似性，Lmax和是两个控制常量。

当亮度可变时，此方法可能无法在同一图像结构中构建支持窗口。 因此，呈现了使用图像的方差的自适应阈值，其可以表示为：

其中是图像I的强度偏差，s是一个常量，它可以改变以适应不同的图像。 在许多基于交叉的方法中，支持窗口仅在原始图像上确定。 因此，本研究提出了一个组合窗口，它是原始图像和增强图像的两个交叉窗口的交集。

在确定支持窗口之后，对需要重复求和的每个像素实施成本聚合。 该过程在计算上是昂贵的，尤其是当窗口是可变的时。 提出了正交积分图像（OII）技术以加速代价聚合。 基于OII，提出了本文的代价聚合算法。如下：

输入：初始图像对增强图像和像素k的原始匹配成本Ckd，视差假设d。

第一步：先计算，计算像素k在和中的窗口手臂长度

第二步：在中心点为p的交叉窗口中计算，分别表示，的均值。

是一个3*1的向量用来表示RGB的值，是的均值，是的方差。是窗口的像素数量。U是一个3*3的单位矩阵。

第三步：计算水平积分图像

可以由得到，

第四步：计算水平积分，用水平积分图像

第五步：计算垂直积分图像

可以由得到，其中

第六步：基于，聚合函数可以得到：

 

 

5.2、视差计算

采用“赢者通吃”策略去计算初始视差图：

6、视差图后处理

通过以上步骤得到的初始视差图包含许多异常值，因此后处理步骤是获得准确视差图的必要步骤。本文中提出多种后处理方法完全消除无效差异，包括LRC检查，异常值抑制，修改的Occweight过滤和倾斜平面平滑。

 

6.1、LRC检查

本文将像素分为三种，1、阻塞像素，2、不稳定像素，3、稳定像素。假设左图像素p(x,y)与对应像素

其中的值介于，如果超出这个范围则该像素为异常值，但是交叉检测策略可能无法检测到某些不匹配像素。因此，用相关置信度测量用于检测像素：

其中C1，C2表示最低匹配代价和第二低匹配代价。如果这个式子低于某个阈值，那么这个像素是不稳定像素。

 

6.2、异常值抑制

一旦异常值被检测出来，用垂直和水平方向上最近的有效像素校正。假设最近的有效像素是。那么得到的有效像素是：

但是对于最左边的异常值，由于右图像中相关匹配信息的丢失，dl不存在。因此：

为了完全去除异常值，此步骤运行两次。

 

6.3、基于交叉的Occweight过滤器

这个步骤用来校正不稳定像素。

 

表示p和q的颜色像素度，是p和q的坐标之间的空间距离。

 

6.4、倾斜平面平滑

本文使用倾斜平面平滑来在上述后处理步骤之后对剩余的无效像素进行后处理。

 

7、实验结果

7.1、参数设置

 

7.2、评估提出的算法结果

首先评估不同的代价匹配计算方法有不同的效果。下图展示了不同计算方法下，不同的图像的相关数据。

上述实验数据表明，AD方法不能有效处理比较大的无纹理区域，Census方法无法处理具有重复局部结构的图像，梯度值的绝对值差（GDxy）无法处理细小边界。因为Census变换对于辐射变化具有鲁棒性。基于梯度的方法能够提高无遮挡区域的精确度。

 

7.3、在Middlebury数据集中的评估

由上可见本文提出的算法在图像边缘保护方面有明显的优势。许多的误差出现在阻塞区域。

 

7.4、复杂度分析

 

8、结论

在本文中，一种边缘保护的滤波器被提出，主要扩展了GF的应用，加强了GF的边缘保护方面。而且在EGF的基础上，在代价聚合步骤中提出了加权边缘保护的引导滤波器（AEGF）。AEGF在适当成本过滤的同时可以有效实现边缘保护。实验结果表明，我们提出的局部立体匹配算法能够产生精确的结果，并保持线性计算复杂度。结果还表明，我们的方法可以在室内和室外场景中提供准确的性能。在之后的工作中，这个研究可以考虑如何实现实时匹配。我们将评估不同的边缘保留滤波器，以进一步了解它们对所提出的立体匹配方法的性能的影响。

 

附录A：

GF过滤器无法对深度模糊进行排序，核的功能用来弥补这个缺陷。