论文《基于纹理和边缘信息的自适应平滑约束立体匹配》学习

（2016 ICIP会议 SCI）
《Adaptive smoothness constraints for efficient stereo matching using texture and edge information》

摘要： 提出了一种基于纹理和边缘信息的自适应平滑度约束的立体匹配算法。首先，我们确定非纹理区域，在这些区域上，输入图像产生平面像素值。在非纹理区域，我们惩罚深度不连续性，并用基于颜色的成本补充基于CNN的主要匹配成本。其次，通过将输入图像中的两个边缘映射和一个预估计的视差映射相结合，我们提取出与高概率深度不连续相对应的去噪边缘。因此，在去噪边缘附近，我们对相邻视差的小差异进行了惩罚。基于这些自适应平滑约束，该算法的性能明显优于传统算法，在米德尔伯里立体基准测试中取得了最优的性能。

索引项- 立体匹配，纹理分析，边缘分析，自适应平滑约束。

1. 介绍

密集立体匹配的目的是通过匹配两幅立体图像之间的对应关系来估计一幅像素级的视差图。尽管立体匹配在低水平视觉中是一个很好的研究课题，但在遮挡、物体边界附近、重复纹理区域或无纹理区域中提供精确的像素级差异仍然是一个挑战。 为了克服这一问题，提供更精确、可靠的视差图，人们开发了多种立体匹配方法。

Scharstein和Szeliski[1]观察到，一般的立体匹配方法有四个步骤:匹配成本计算、成本聚合、视差优化和视差细化。根据成本聚集和视差优化技术，立体方法可分为两类:局部方法和全局方法。局部立体方法根据支持区域聚合匹配成本，并简单地选择使像素最小化的视差[2-5]。提出了多种支持区域的windowsorfilter，包括自适应支持权重[2]、导向滤波器[3,4]和三边滤波器[5]。然而，这些局部方法对于大面积的无纹理区域或重复纹理是无效的。提出了支持域的各种窗口或滤波器，包括自适应支持权重[2]、引导滤波器[3,4]和三边滤波器[5]。然而，这些局部方法对于大的无纹理区域或重复纹理是无效的。

全局立体方法[6-19]采用显式平滑作为假设，局部方法采用隐式平滑。更具体地说，全局立体方法优化了由整个图像上的数据和平滑项组成的全局能量函数。为了优化能量函数，可以使用诸如动态规划[6]、图割[7]和置信传播[8]等有效技术。此外，Hirschmüller[9]提出了半全局匹配（SGM），它通过在几个方向上最小化1D聚合的匹配代价，有效地优化了2D全局能量函数。Hong和Chen[10]将立体匹配定义为分割域中能量函数的最小化，而不是典型的像素域。Klaus等人的[11]利用图像的颜色分割结果，采用自适应匹配分数进行视差平面拟合。Humenberger等人使用基于纹理的平面拟合计算基于普查的相关性作为匹配成本，并获得视差图。Mei等人的[13]采用人口普查变换计算匹配成本，采用基于交叉的成本汇总[20]。Yamaguchi等人提出了一种混合马尔可夫随机场(MRF)的立体匹配方法，该方法由倾斜3D平面的连续随机变量和遮挡边界的离散随机变量组成。Jung等人[15]利用真实和虚拟中间视图的一致性准则，最小化能量函数，包括一致性项。Sinha等人[16]通过匹配和聚类稀疏的局部特征对局部倾斜平面进行建模，并使用SGM解决局部平面扫描问题。Yamaguchi等人[17]在超混合体上构造了一个倾斜平面模型，并优化了由段标记和边界能量项组成的能量函数。Zbontar和LeCun[18]通过学习卷积神经网络(CNN)计算匹配成本。Zhang等人利用两层MRF构造了用于立体匹配的网格结构并进行了优化。

提出了一种基于纹理和边缘信息的自适应平滑约束的全局立体匹配算法。首先，我们通过检测输入图像中不包含强梯度强度的窗口来确定非纹理区域。然后，在非纹理区域，我们惩罚了相邻视差之间的巨大差异，并将基于cnn的基线匹配成本[18]增加为基于颜色的匹配成本。其次，我们从输入图像和预估的非奇偶映射中提取边缘映射，并将它们结合起来产生去噪边缘。在去噪边缘附近，我们鼓励较大的视差差异，对较小的差异进行去噪。通过施加这些自适应平滑约束，该算法具有良好的立体匹配性能。在米德尔伯里立体数据集上的大量实验结果表明，该算法明显优于传统方法。

2、预备工作

本节介绍一种基线立体匹配方法，该方法是本算法的基础。该基线方法在最近的立体匹配算法中也被采用，包括[13,18]。

设$I^L和I^R$是一对经过矫正的左右像。当$I^L$中的一个像素$p=(x,y)$通过视差d匹配$I^R$中的另一个像素$p_d=(x-d,y)$时，p处的像素级匹配代价用C(p,d)表示。在这项工作中，我们利用[18]中的CNN计算匹配代价，通过将机器学习技术引入到立体匹配中来提供优异的匹配性能。然后，通过使用基于交叉的成本聚集[20]，我们将相邻像素的匹配成本与相似值结合起来。

为了获得一个密集的视差图D，定义了一个能量函数E(D)，它通常由数据和平滑项组成。特别是在[9]中，能量函数被定义为

其中$P_1和P_2$是平滑惩罚，$P_1<P_2$。T[·]为指标函数，$D_p$为点p处的视差，$N_p$为点p相邻像素的集合。第二项对其差异与p的差异相差一个的像素q施加小惩罚P1。同样，第三项对其差异相差一个以上的像素q施加大惩罚P2。

第二项对差异为1的像素q和差异为p的像素q处以较小的惩罚P1。同样，第三项对差异大于1的像素q处以较大的惩罚P2。为了有效地最小化能量函数E(D)，我们采用了SGM方法[9]，该方法基于两个水平和两个垂直方向上的路径优化来逼近全局能量函数。更具体地说，为了在r方向上最小化E(D)，递归地表示路径匹配成本

然后，通过对各个方向上的路径匹配成本进行累加并最小化，从而确定稠密的视差图D，

此结果在后处理步骤中进行细化。具体地说，对于左右一致性检查，将左图像作为参考图像来计算左视差图$D^L$，并在对称的人工条件下计算右视差图$D^R$。如果$|D_p^L-D_{p_d}^R|>1$认为p点的视差是错误的，利用相邻像素点的视差进行插值。然后，通过对相邻代价的二次曲线拟合进行亚像素估计。最后分别采用5×5中值滤波和双边滤波。

3.算法

为了提高立体匹配的性能，提出了基于纹理和边缘信息的自适应平滑约束。首先，我们使用渐变图来确定一个没有纹理的区域。然后，我们使用颜色和预估的不一致信息得到去噪的边缘图。最后，基于非纹理区域和去噪边缘映射，利用自适应平滑项对修正能量函数进行优化，得到最终的视差映射。

3.1 非纹理区域的自适应平滑度约束

一般来说，非纹理区域，即像素强度是平坦的，也有均匀的差异。然而，包括基于cnn的[18]在内的非纹理区域的匹配代价计算是不可靠的，这些区域的视差估计是稠密立体匹配面临的主要挑战之一。因此，为了提高匹配性能，我们找到非纹理区域，并在这些区域中应用自适应平滑约束。此外，在非纹理区域，我们计算颜色强度的差异，并结合基于cnn的匹配成本。

：其中W p为包含像素p的31×31个窗口，为了减少检测误差，将距离$q\in P_g$的10个像素距离内的像素排除在非纹理区域之外，如图1所示。

3.2、去噪边缘的自适应平滑约束

我们开发了另一个自适应平滑约束，它使用了去噪的边缘映射。我们利用了在输入图像中边缘处存在深度不确定度的趋势。然而，边缘并不总是意味着深度不连续。因此，我们将图像中对应的非奇偶映射中处于齐次区域的边缘定义为噪声边缘。我们用类似于[21]的方法消除这些噪声边缘，但使用了一个更简单的方案。请注意，使用第3.1节中的约束预估计的不均匀映射可以大致告知深度不连续性。因此，我们使用预先估计的视差图来消除噪声边缘。

图2展示了边缘图去噪的分步结果。从图2©中可以看出，去噪后的边缘图中的边缘忠实地表示了相邻视差的较大差异。

在去噪的边缘像素点$P_{DE}$集合中，相邻视差之间存在较大差异的概率非常高。因此，对于非边缘像素，在$P_{DE}$中，我们对相邻视差的较大差异设置较小的惩罚，对较小的差异设置较大的惩罚。为此，通过增加一个新的平滑项，我们将(1)中的能量函数修改为

我们获得密度差异图D通过最小化$\widehat{E(D)}$(8)和后处理结果作为第二部分中提到。通过使用(9)∼(11)中的自适应惩罚，我们可以显著提高匹配性能。

5. 结论

在这项工作中，我们提出了一种有效的立体匹配算法，称为NTDE，它利用纹理和边缘信息应用自适应平滑度约束。该算法首先检测像素强度平坦的非纹理区域。在非纹理区域，该算法放大了深度不连续的惩罚，并用基于颜色的代价补充了基于CNN的主要匹配代价。此外，它还通过将输入图像和预估计的视差图中的两个边缘映射相交来提取去噪边缘。然后，对去噪边缘上相邻差异的微小差异应用较大的惩罚。实验结果表明，该算法明显优于传统的立体算法，在Middlebury立体基准测试中排名第一。