Cross-Scale Cost Aggregation for Stereo Matching

摘：

人类根据不同的尺度来处理立体匹配等问题。然而，这种灵感被现如今的成本聚合方法当中所忽视了。本篇论文，将会介绍一个在成本聚合中多尺度相互作用的多尺度成本聚合算法。我们首先从统一优化的角度来形式化成本聚合，表明了不同的成本聚合方法本质上是其核的不同。接着，一种尺度内的规范化将会用在优化上同时解决这种新的优化问题。既然规范化项在相近的核中都是独立的，不同的成本聚合方法能够融入进通用的算法框架、实验表明，交叉尺度框架非常的重要，因为有效的扩张了现在的成本聚合方法。导致了极其重要的进步。

介：

两图之间的密度联系是计算机视觉领域的核心问题。加入一个两站图片是同一幅画面的立体对的两张图这样一个限制条件之后，那么密度联系问题就退化为了立体匹配问题。一个立体匹配算法通常采用了四步：成本计算，成本聚合，视差计算和视差优化。在成本计算步骤，通常在每个可能的视差等级中的每个像素上都要计算这个匹配成本，得到一个3维的数据量通常被称作视差空间图。成本聚合阶段，这些成本量被聚集起来，导致了一种偏移量的分块连续性，每个像素都有一个支撑域。接着，每个像素的偏差值以一种局部或者全局优化方法来计算，分别在接下来两步的预处理方法中有所定义。通过这些步骤，成本聚合的质量会对立体算法的成功有着非常重要的影响。这对现在的局部算法是一个核心的成分。对一些性能优秀的全局算法也是一个主要的组成部分。因此，这篇论文，我们主要关注于成本聚合。

大多数成本聚合方法被看做是在成本向量上的联合滤波器。实际上，甚至一些简单的线性图片滤波器比如box或者高斯滤波器也能够用在成本聚合上，但是就像各方向扩散滤波器，他们试图模糊这个深度边界。因此，一些边界保存滤波器比如说双边滤波器还有指导图片滤波器被常用来进行成本聚合.有人用双边滤波来进行成本聚合的实验，可以生成视差图，但是太消耗计算资源了，为了降低双边滤波器的计算限制，有人引进了指导图滤波器，那么他们的计算复杂度只与核大小有关。最近，Y提出了非局部成本聚合方法，将核尺寸扩大到整个图像。通过计算图片图像域的MST，这个非局部成本聚合能够进行的非常的快。M追随着这个非局部成本聚合的想法同时表明使用部分树而不是MST从而保证了偏差的一致性。效果更好。

所有这些现在的成本聚合方法都对立体视觉做出了巨大的贡献。这些算法的普遍的特性就是成本以一种输入立体图像最精密的尺度下聚合起来。然而，人们通常以不同的尺度来处理立体关系。根据14，粗糙尺度和精密尺度中的信息在人类的立体视觉系统中的相关搜索下是交错的处理的。因此，源自这样的个人灵感，有理由相信成本应该从不同尺度聚合而不是在传统方法中最精确的尺度下聚合。

这篇论文中，采用常用的交叉尺度成本聚合框架。首先，由18中的图像滤波器公式的影响，可以发现不同的成本聚合方法能够以权重最小二乘（WLS）优化方法来公式化。接着，组成这个同意的优化想法，通过在WLS优化问题中加入通用的T准则。我们强制在领域尺度上添加了成本向量一致性。比如，内尺度一致性。这个新的内尺度规范化的优化算法是非常复杂的然后可以很容易的解决。作为成本向量的相尺度一致性则由传统的成本聚合方式保持着，他们中的许多项能够被融入到我们的算法之中从而产生更多鲁邦的成本向量还有更好的视差图。图1展示提出算法的效果。成本向量切片成四个相关成本聚合的方法，包括非局部方法（NL），分割树方法（st），双边滤波方法（bf）还有指导滤波器方法（gf）。我们使用红点来表示申城的局部维纳优化所形成的偏差。每个成本向量中都有。绿点表示真值偏差。可以发现交叉尺度的成本聚合可以产生越鲁邦的成本向量和越准确的偏差。这些数据库的额外实验也表明交叉尺度成本聚合可以获得更好的视差图。总结一下，这篇论文的几个贡献：

1）统一的WLS公式来自于一个优化策略的不同成本聚合方法。

2）一个新颖有效的交叉尺度成本聚合框架

3）这些数据集定量的评估方法。

图

交叉尺度成本聚合，上左：增大视野，扫描线的亚节点，上右：不同尺度下成本计算的成本向量，其中有强度和梯度成本函数。水平轴x线表明子节点子节的不同像素，垂直线L表明不同的偏差尺度。红点代表着视差由现在的成本向量生成而绿点是真值。右下：在精确尺度下采用集中不同的成本聚合方式获得的成本向量。左下：交叉尺度成本聚合之后的不同方法的成本向量，这些成本向量尺度是不同的。

2.相关工作

对不同的成本聚合方法进行了充分的对比和分析。这里介绍了跟本文算法相关但是也有本质区别的不同成本聚合方法。本文算法专注于多尺度的信息。

3.优化时的成本聚合

本章将会展示成本聚合会以权重最小平方优化的问题的形式而存在。在这样的公式下面，优化目标中的相似核的不同选择导致了不同的成本聚合方法

首先，成本计算步骤由一个函数表示。W,H是输入图像的宽跟高。3代表着颜色通道，L代表着偏移量级的数量。因此，对一个立体颜色对，应用了成本计算如下：可以得到，C代表着每个像素中所有可能偏移量的匹配成本。对于一个单纯的像素，其中x，y表示像素位置，在偏移等级l中的成本可以看成一个标量。不同的方法都能够用来计算成本容量。比如，强度+梯度成本函数可以写成： I代表着像素i的颜色向量。那个又是方向x的灰度梯度。il是像素i的偏差l。alpha平衡了颜色和梯度项。后面两项是截断值。

成本量C是非常有噪声的。由WLS去噪声问题的公式激励，成本聚合能够以噪声输入C来定义：

Ni定义了i的领域，K是相似核，测量着像素i和j的相似度。C是成本向量。Z是规范化常熟。WLS的问题的解决方式如下：

好似一个图像滤波器，成本聚合方法与相似核的性质有关。

BF方法采用两像素之间的空间和光学距离来测量相似度。与用在双边滤波器中的核函数相似。

GF采用了规定滤波器中定义的核。它的计算复杂度是独立于核大小的。

NL方法定义了树结构中两像素距离的核。该方法被颜色分类所增强，就叫做分割树方法。

基于树聚合和基于滤波器聚合的方法主要差异在于相似核的动作范围。比如，Ni这个东西，在基于滤波器的方法中，是以i为中心的窗口，而在基于树的方法中，Ni就是整个图像。图1,可视化了不同动作范围的影响。基于滤波器的方法保持了成本聚合之后的一些局部相似性，而基于树方法试图在成本容量中产生不同区域的硬边界。

实验表明一些代表的成本聚合方法能够在一些固定的框架中能够被公式化，重温图1中的成本容量切片。图像主要由三个典型的情况：低纹理，高纹理还有接近无纹理区域。四中现存的成本聚合方法都在高纹理区域上表现的很好，然而他们中的大多数都在低纹理还有无纹理区域表现不佳，为了在这些低纹理和无纹理区域得到精确对应图。对应搜索应该采用在粗尺度中。然而，公式3中，成本在精密的尺度下聚合，使得自适应的从多尺度中利用信息变得不可能。因此，我们需要对WLS优化项从多尺度方面重新定义表现形式。

4. 交叉尺度成本聚合算法

很明显发现，直接使用欧式距离来处理多尺度成本向量的问题与分别在不同尺度下进行成本聚合的效果是一样的。首先，在C上添加一个上标s，表示立体对不同尺度中的成本量，其中s是尺度参数，c0代表的是最精确尺度上的成本量。多尺度成本量使用一个下采样图像进行计算。注意该方法也降低了偏差的搜索范围。多尺度版本能容易的表现：

K是规范常数项。i和l表示每个尺度的相对系数序列。N是领域坐标范围

之前的CTF方法通过在粗尺度上成本量估计出的偏差映射大大降低了偏差搜索空间范围，经常激怒小偏差细节的损失。相反，我们可以将GT规则进公式5中直接强制了成本空间上的内尺度一致性。产生了下面的优化策略：