立体视觉：算法和应用（七）

本文翻译的外国学者的一份talk，主要内容是关于立体视觉算法和应用的基础知识。限于个人水平，如有疏漏之处请谅解。

大纲

1、介绍

2、立体视觉系统概述

3、视觉匹配算法

4、计算优化

5、硬件实现

6、应用

视差调整

通过匹配算法可以得出未加工的视差图，图中包含了一些outliners，这样的点是需要被识别出来并进行修正的。而且，因为视差图的计算基于离散的像素水平进行计算的，这使得视差的分配的可信度更高。另外本部分推荐了一些提升视差图的方法。

亚像素插值

典型的亚像素视差可以通过利用二次函数对three matching costs进行插值而获得。这种计算相对较简单而且精度也还可以。

图像滤波技术

有时视差图可以简单地使用不带约束的图像滤波技术来refine。常用的图像滤波技术有：中值滤波、形态学操作、双边滤波。

双边检测 (Bidirectional Matching)

Bidirectional Matching(BM)是一种常用来检测outliners的方法。将匹配问题分为两次，一次是从左图到右图，另一次从右图到左图，满足了对应点唯一性的约束。那么视差值在两幅图中的不一致可以作为将点分为outliners的依据,通常将式中的T设置为1。这种方法可以方便地检测到遮挡区域，抑制深度不连续的影响，有效地探测模糊区域的outliners。

Single Matching Phase (SMP)

SMP算法旨在检测不可靠的视差分配，通过更有效的计算技术。运用单个匹配相(相当于一半的BM中的匹配过程)；严格执行唯一性约束；当唯一性不满足时动态的更新视差图；通过其他约束增强算法；适合利用SIMD。其中的匹配运用单相的匹配动态的计算和更正，从参考图像到目标图像，选取匹配值最佳的为对应点，其余的候选点被丢弃。基本的SMP算法可以利用其他约束来增强，如Distinctiveness、Sharpness。

Segmentation based outliers identification and replacement

两个基本的假设：1)视差在各个分割区域是平滑的； 2)每一个分割区域近似一个平面(有可能过分分割)。那么每个分割区域均可以在三维中用一个三维平面来表示：

鲁棒的视差平面适应值测度：RANSAC、Histogram Voting。平面的适应值需要对outliners具有鲁棒性的插值技术。常用的插值技术是最小均方差插值，并不能排除干扰点的影响，而上述两种方法均有一定的鲁棒性。

也可以采用一些方法实现边界和遮挡区的精确定位来提高性能。

应用

3D tracking
SLAM
Autonomous robot navigation
Mobility aid for visually impaired