[双目视差] 立体匹配步骤详解

立体匹配步骤详解

---

Step1 匹配代价计算

匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。

每个像素在搜索同名点之前，往往会指定一个视差搜索范围D（Dmin ~ Dmax）,视差搜索时将范围限定在D内，用一个大小为W×H×D（W为影像宽度，H为影像高度）的三维矩阵C来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵C通常称为DSI（Disparity Space Image）。

匹配代价计算的方法有很多，传统的摄影测量中，使用灰度绝对值差（AD，Absolute Differences）1、灰度绝对值差之和（SAD，Sum of Absolute Differences）、归一化相关系数（NCC，Normalized Cross-correlation）等方法来计算两个像素的匹配代价；计算机视觉中，多使用互信息（MI，Mutual Information）法2 3、Census变换（CT，Census Transform）法4 5、Rank变换（RT, Rank Transform）法6 7、BT（Birchfield and Tomasi）法8 等作为匹配代价的计算方法。不同的代价计算算法都有各自的特点，对各类数据的表现也不尽相同，选择合适的匹配代价计算函数是立体匹配中不可忽视的关键步骤。

图1 DSI示意图（C(x,y,d)代表像素(x,y)在视差为d时的匹配代价）

---

Step2 代价聚合

代价聚合的根本目的是让代价值能够准确的反映像素之间的相关性。上一步匹配代价的计算往往只会考虑局部信息，通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确的反映像素之间的相关性，直接表现就是真实同名点的代价值非最小。

而代价聚合则是建立邻接像素之间的联系，以一定的准则，如相邻像素应该具有连续的视差值，来对代价矩阵进行优化，这种优化往往是全局的，每个像素在某个视差下的新代价值都会根据其相邻像素在同一视差值或者附近视差值下的代价值来重新计算，得到新的DSI，用矩阵S来表示。

实际上代价聚合类似于一种视差传播步骤，信噪比高的区域匹配效果好，初始代价能够很好的反映相关性，可以更准确的得到最优视差值，通过代价聚合传播至信噪比低、匹配效果不好的区域，最终使所有影像的代价值都能够准确反映真实相关性。常用的代价聚合方法有扫描线法、动态规划法、SGM算法中的路径聚合法等。

图1：代价聚合前后视差图示意图

---

Step3 视差计算

视差计算即通过代价聚合之后的代价矩阵S来确定每个像素的最优视差值，通常使用赢家通吃算法（WTA，Winner-Takes-All）来计算，如图2所示，即某个像素的所有视差下的代价值中，选择最小代价值所对应的视差作为最优视差。这一步非常简单，这意味着聚合代价矩阵S的值必须能够准确的反映像素之间的相关性，也表明上一步代价聚合步骤是立体匹配中极为关键的步骤，直接决定了算法的准确性。

图2 赢家通吃（WTA）算法示意图

---

Step4 视差优化

视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误视差、适当平滑以及子像素精度优化等步骤，一般采用左右一致性检查（Left-Right Check）算法剔除因为遮挡和噪声而导致的错误视差；采用剔除小连通区域算法来剔除孤立异常点；采用中值滤波（Median Filter）、双边滤波（Bilateral Filter）等平滑算法对视差图进行平滑；另外还有一些有效提高视差图质量的方法如鲁棒平面拟合（Robust Plane Fitting）、亮度一致性约束（Intensity Consistent）、局部一致性约束（Locally Consistent）等也常被使用。

剔除错误匹配
  错误匹配直观的反应是聚合后某些像素在真实视差位置的代价值并非最小值，有很多因素能够造成这一现象的产生，如影像噪声、遮挡、弱纹理或重复纹理，以及算法的局限性。实际上目前还没有哪个算法能够完美的处理以上所有问题，所以错误匹配的剔除对所有算法都是有必要的。目前最常用的错误匹配剔除方法是左右一致性法（L-R Check），它基于视差的唯一性约束，即每个像素最多只存在一个正确视差。具体步骤是将左右影像互换位置，即左影像成为右影像，右影像成为左影像，再做一次立体匹配，得到另一张视差图，因为视差图中每个值所反映的是两个像素之间的对应关系，所以依据视差的唯一性约束，通过左影像的视差图，找到每个像素在右影像的同名点像素及该像素对应的视差值，这两个视差值之间的差值若小于一定阈值（一般为1个像素），则满足唯一性约束被保留，反之则不满足唯一性约束而被剔除。一致性检查的公式如式1所示：
式1 LR-Check

图3 一致性检查示意图

 除一致性检查之外，剔除小连连通区（Remove Peaks）、唯一性检测（Uniqueness Check）也是常用的剔除错误视差的方法，可以结合使用。

剔除小连连通区（Remove Peaks）是指剔除掉视差图中连通的极小块区域，同一个连通区内的视差与邻域视差之差小于设定阈值（一般为1）。

唯一性检测（Uniqueness Check）是指对每个像素计算最小代价和次最小代价的值，若两者相对差小于一定阈值，则被剔除。

if ((SecMin-Min)/Min < T)
	disparity = invalid;

提高视差精度
  提高视差精度采用子像素优化技术，因为视差计算得到的视差图是整像素精度，在很多应用中都无法满足精度要求，SGM采用二次曲线内插的方法获得子像素精度，对最优视差的代价值以及前后两个视差的代价值进行二次曲线拟合，曲线的极值点所对应的视差值即为新的子像素视差值，如图4所示。

图4 二次曲线拟合计算子像素视差

抑制噪声
  为了抑制噪声，小窗口（通常为3x3）的中值滤波（Median Filter）是常用的算法。双边滤波（Bilateral Filter）也比较常用，能够较好的保持边缘精度，效率较中值滤波低。

局部匹配算法的步骤一般包括匹配代价计算、代价聚合和视差计算三个步骤，全局算法则包括匹配代价计算，视差计算与视差优化三个步骤，半全局算法SGM则四个步骤都有。

---