《基于扩展双权重聚合的实时立体匹配》（2017）_real-time stereo matching using extended binary we-CSDN博客

本文链接：https://blog.csdn.net/shan54321/article/details/84562857

基于在保证实时性的前提下提高匹配精确度的目的，

本文采用了一种基于扩展双权重聚合的实时立体匹配方法。扩展双权重聚合是基于以下 2个新的想法。第一，扩展双权重聚合越过颜色边界连接相似区域，对于一个给定的像素给予一个很大的支持区域。第二，它不包括支持区域中的预估异常值，从而制作一个高质量的支持区域。

立体匹配可以分为两种类型：全局和局部方法。全局方法通过一个能量函数来表示需要解决的立体匹配问题，然后通过使能量函数最小化来找到最优的解决方案。局部方法计算每个像素的异同，然后确定每个像素的最优视差。局部方法本质上是容易计算和适当并行化的。

因此，大多数最近的实时立体匹配的方法都采用的是局部方法。一般情况下，局部立体匹配方法包括以下 4 个步骤：代价计算，代价聚合，视差计算，视差精化。

文中，提出了一种高精度的实时立体匹配方法。为了实现该方法，采用了容易计算的双权重，

聚合步骤中删除现有双权重方法的连通性约束。然而在现有的双权重方法中所有双权重应都需要与中心像素相关联。该方法会导致聚合变得复杂但拥有高精度性。

双权重聚合

最初，在聚合步骤中使用一个固定大小的正方形窗口，使窗口中的所有代价平均。然而，随着窗口大小的增加边缘区域变得更加模糊，随着窗口尺寸减小平滑区域的错误随之增加。为了克服一个固定大小的窗口带来的缺点，提出可变窗口和多窗口。一个可变窗口分配一个正方形窗口尺寸能够自适应每个像素的代价函数和方差。多窗口方法将一个固定大小的窗口分为子窗口，然后选择一些子窗口作为支持区域，即这些像素将被聚合。为了克服矩形支持区域这一局限性，提出了更加灵活的多边形区域。从中心像素向四向量或八向量的每个方向上的移动，直到遇到一个与中心像素颜色差异很大的像素。多边形支持区域是通过连接的所有顶点而生成的。

最近提出的双权重聚合使用一个基于交叉的支持区域，由其分配像素单元的双权重。用 “基于交叉”这个词是因为每个像素都有一个十字形元素。了生成每个像素的元素，沿着 4 个方向扩展直到遇到一个颜色差异很大的像素作为中心像素。支持区域是通过收集水平穿过垂直交叉的中心像素从而动态合成的，如图所示。这样使得分配双权重的形状更适合于每个像素，从而增加精确度。

现有的双权重聚合都有连通性约束，因为在权重分配时，所有像素应与中心像素相关联。这个约束是能够快速运算速度的关键原因。然而，连通性约束也是精度较差的原因之一。

由于连通性约束，有很多不属于聚合目标的像素。

实值权重聚合

一种自适应权重算法根据比较中心像素的色差和空间距离给支持窗口中所有像素分配权重。自适应权重算法的基本假设是，与中心像素比只有较小的颜色和空间距离的像素视为与中心像素有相同的差距。自适应权重算法的准确性有很大的改善，但需要大量的计算。

2 基于扩展双权重聚合的立体匹配方法

所提出的方法包括以下 4 个步骤：代价计算，代价聚合，视差计算，视差精化。

2.1 代价计算

SAD 和 HD 是两个被广泛使用的用来构建综合代价。将 SAD 和 HD 合并使用比分开单独使用它们效果更好。

2.2 代价聚合

与现有的双权重聚合相比通过移除连通性约束的该聚合方法提供了更高的精度。此扩展双权重聚合主要有两种方法：远程连接聚合和异常排除聚合。远程连接聚合将聚合目标扩展到颜色边界的外部，异常排除聚合主要是删除异常值的双权重。使用这些方法可以克服双权重聚合相对较低的精确度，同时可以保持其快速的运算速度。

双权重聚合根据颜色的相似性和空间约束来确定支持区域。我们希望同一个对象中的像素都能有相似的颜色。现有的基于交叉的聚合方法中支持区域设置为每个像素的预定义窗口大小。如果像素满足与中心像素颜色相似性和连通性这两个条件，双权重将分配给每个像素的 4 个方向，远程连接聚合设置双权重时可以越过颜色边界。如果它们颜色类似中心像素，不管连通性如何双权重分配给每个像素在 4 个方向上。

一个视差图的精确度一般是可以通过聚合步骤来提高，因为在其聚集目标中大多数的像素都有一个明显正确的代价。然而，一些像素的聚合目标组成一个显然错误的代价，导致一个不一样的错误分配。在所提出的方法中，错误的代价在聚合之前就已被排除。排除异常聚合的关键是异常值检测的准确性。因此，各种异常值检测方法都应进行测试，以找到一个理想的异常值检测法。在本文中，是通过结合左右一致性检测（LRC）和平均峰值比（APKR）来找出异常值的。LRC 是最广泛使用的异常值检测法。如果某一点在左、右视差图中的差异不一致，则该点是一个离群点，异常值可以被分为两类，一类是遮挡一类是不匹配。遮挡发生在由于立体相机拍摄的不同景象时背景被前景对象隐藏时。不匹配发生在立体匹配方法出现错误导致一个错误的预估视差。 LRC 专门用来找遮挡区域因为它主要利用左右视差图的差异。另一方，APKR 主要是搜索不匹配地区因为不匹配像素的代价分配通常与周围像素不一致。因此，我们尽量结合 LRC 和 APKR 来加强两项指标的强度。