Fast Cost-Volume Filtering for Visual Correspondence and Beyond（2011）

摘要：许多计算机视觉问题可以被表述为标签问题。期望的解决方案通常是空间平滑的标记，其中标签过渡与输入图像的颜色边缘对齐。本文表明，通过使用非常快速的边缘保留滤波器平滑标签成本，可以有效地实现这样的解决方案。在本文中提出了一个常规和简单的框架包含三个步骤：1、构建匹配代价，2、快速代价过滤，3、赢者通吃标签选择。本文的主要贡献是在一个简单的框架中，可以为多个计算机视觉应用实现最新最好的效果。尤其在本文中将提到如下工作的完成，1、实时产生视差图，其质量超过Middlebury基准中的所有其他快速（本地）方法。2、光流场具有非常精细的结构以及大的位移。为证明鲁棒性，在不同的应用中在少数几个参数设置几乎相同的值。并且提出了交互式图像分割的结果。

 

 

1、概述

离散的基于标签的方法已经成功地用于解决计算机视觉问题，比如立体视觉，光流场，交互的图像分割或者目标识别。在典型的标记方法中，输入数据用于构建三维匹配代价，其存储的匹配代价用来在图像坐标x，y处选择标签。对于立体匹配，这些匹配代价由相应像素之间的像素相关性给出。（例，强度的绝对差异）

要解决此类问题的方法是1、服从标签匹配代价。2、空间平滑。3、在图像边缘更改标签。一种常用的方法是利用马尔可夫随机场模型（CRF）。这意味着制定能量函数，其中标签的匹配代价在数据项中编码，边缘的平滑由其中成对的平滑解决。这个代价函数可以使用全局函数的最小化实现。缺点是这种全局方法通常相对较慢并且不能很好地扩展到高分辨率图像或大标签空间。由于全局优化模式较少，快速近似通常会以质量损失为代价。

离散标记方法的连续对应物基于凸能量函数，其可以在GPU上有效地优化。缺点是许多这些方法具有受限形式的数据和平滑项。例如，光流中的亮度恒定性假设通常是线性化的，因此仅对小位移有效。为了解决这些问题，通常使用coarse-to-fine框架但是仍然不能处理比其运动小得多的对象。另一个问题是光滑度项的凸性造成的，这可能使解决方案过于平滑。

基于能量的方法比较好的替代方法是应用局部滤波方法。局部滤波的应用可以达到在标签上的局部空间起到平滑的效果，与CRF在全局空间的平滑相反。局部平滑能够取得更好的结果，主要原因是数据项在平滑度方面占主导地位。 一个重要的结论是，数据项占据了比较重要的地位，因为视频和静态图像相机在帧分辨率和动态范围方面都在不断增长。基于能量和基于过滤的方法之间的详细比较超出了本文的范围，将会在之后的章节讨论。

基于过滤器的方法，既能实现实时匹配又能实现高精度的结果，这是本文主要的创新点。

Yoon and Kweon提出了一种边缘保护的双边滤波器，应用在代价匹配，取得了高精度的结果。但是作者不将其称之为滤波器，而是命名为加权支持窗口聚合方案。这是对双边滤波器的简单实现，这种做法很慢并且减少了局部方法与全局方法相对比的运行时间优势。

本文提出的算法框架克服了以上提到的缺陷，可以有效解决多标签问题，并且可以达到较高的精度，因此与基于能量（全局）方法相比具有一定优势。最近提出的引导滤波器具有一定的边缘保护作用，运行时间取决于滤波器的大小。因此，可以实现最好的结果，而无需牺牲准确性与效率。

本文中用一个支持窗口去聚合（平滑）匹配代价。需要知道的是，聚合相当于用一个盒滤波器对（x,y）点为中心的支持窗口内的像素的匹配代价滤波。下图是滤波图：

为了克服模糊边缘的缺点，采用加权的盒滤波器。例如，使用双边滤波器平滑匹配代价，并且有效保护图像空间的边缘。与双边滤波器相比，引导滤波器具有更快的速度，所以采用引导滤波器。

本文提出的通用并且快速的代价聚合框架主要有三个方面的应用：

1、实时立体匹配在速度和准确度方面均优于Middlebury基准测试中的所有其他局部方法。

2、一种离散光流方法，可处理精细（小规模）运动结构和大位移。 通过快速成本过滤来解决巨大的标签空间问题。

3、一种快速和高精度的交互图像分割方法。

 

2、研究现状

（光流场和图像分割的研究现状省略）

在实时立体匹配方面，通过双边滤波器的快速近似来平滑匹配代价。因为是近似，当是彩色图片对时需要较大的内存，因此只能用来处理灰度图像，在视差边界的效果往往不好。相比而言，本文提出的算法可以使用彩色图像，并且有更加好的效果。

 

3、匹配代价滤波器

一般的标签问题，其目标时将图像I中的坐标（x,y）的每个像素i分配给标签l，其取值范围在{1,...L}。分配给像素i的标签用fi表示，f是所有标签分配的集合。算法主要有三个部分：构建匹配代价，对匹配代价进行滤波，标签的选择。

对于当前标签l，经过加权滤波之后：

是被滤波的匹配代价，i和j是像素索引。滤波器权重取决于引导图像I，I是立体匹配的参考图像。

一旦完成滤波，标签的选择采用赢者通吃原则。

关于滤波器权重：

是窗口的均值，是方差，方形窗口的半径为r，是窗口的像素总和，是平滑系数。

当输入图像为彩色图像时：

一些图像区域的滤波器权重在图3中可视化。在与中心像素自相似的区域中权重高，否则低。

 

以上的加权滤波器可以使用集成成像技术在CPU上作为一系列盒式滤波器有效地实现。 我们应用相同的技术来获得更高效的GPU实现。

 

4、应用

（光流场和图像分割的应用算法省略）

4.1、立体匹配

匹配代价计算：选择颜色强度和梯度截断绝对值差（TAD）来计算匹配代价

代价聚合：使用上述引导滤波器进行聚合

遮挡检测和填充：为了检测遮挡值，采用左右一致性检测。将左右值不相同的像素标记出来，然后将被遮挡的像素分配给位于同一扫描线（像素行）上的空间上最接近的非遮挡像素的最低视差值。

后处理：这种简单的遮挡填充会在视差图中产生类似条纹的伪像。为去除这些伪影，同时有效保护边界，选择加权的中值滤波器填充这些像素。对于滤波器的选择，本来应该为了更好地保护边缘，应该使用本文提出的引导滤波。然而，计算这些权重涉及构建大小为N×N的稀疏矩阵，其中N是图像像素的数量。对于大窗口，该矩阵的非零条目极大地增加，因此计算该矩阵需要巨大的存储器和时间。 因此，我们采用双边滤波器权重：

 

5、实验结果

参数选择：

我们使用CUDA在显卡上实现了我们的方法。 所有实验均在2.4GHZ处理器和配备1.5GB内存的NVIDIA GeForce GTX480显卡上进行。 本文的方法对1Mpix图像进行滤波大概需要5秒。

 

5.1、立体匹配

在Middlebury基准中评估本文算法得到的结果如图所示：

这表明引导滤波和双边滤波器都很适用于立体匹配。（从效果和时间两部分分析）