读《双目立体匹配算法的研究与发展》

1.概述：

A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms一文指出，对于由两帧图像产生稠密视差的立体匹配算法进行了详细的分类和评价，提出现有立体匹配算法一般由4个相对独立的模块组成：匹配代价计算、代价/支持聚合、视差计算/最优化、视差校正。
本文内容：

• 系统归纳了基于图像几何和利用场景物体的各种约束的概念及其适用场合
• 分析各类双目视觉立体匹配算法的发展历程，比较其优缺点
• 总结立体匹配算法存在的主要难题及可能的解决途径
• 讨论了双目立体匹配研究所面临的主要问题和技术发展趋势

2.基于图像几何和场景的约束：

分为两类

2.1 基于图像几何的约束

• 极线约束
• 唯一性约束
• 几何相似性约束：是指分割边长度以及其方向的相似性。（基于特征的匹配算法的核心）
• 光度相容性约束

2.2 基于场景的约束

• 视差连续性约束：处图像中物体边缘外，视差在图像中几乎所有地方变化缓慢。（图像扫描优化算法是在该约束条件下的基于动态规划的匹配算法）
• 形状连续性约束，特征相容性约束：这是视差连续性约束的一个版本，但只适用于边缘上的点。
• 顺序约束：关心对应图像点的顺序。

3.双目立体匹配算法

• 算法有效性主要依赖于三个因素：选择准确的匹配基元、寻找相应的匹配准则、构建能够准确匹配所选择基元的稳定算法。
• 构建一个完整的立体匹配算法的4个步骤：1.广义匹配基元与特征参数选择；2.匹配方法及策略；3.匹配代价优化标准；4.视差提炼方式。

3.3 立体匹配算法分类

3.3.1 基于局部约束的算法

优点：涉及信息量较少，计算复杂度低，实时性高；
缺点：对噪声较敏感，对无纹理区域、视差不连续区域和遮挡区域匹配效果差；
分类：
1. 区域匹配算法：
2. 特征匹配算法
3. 相位匹配算法

3.3.2基于全局约束的算法

动态规划、图割、人工智能

4.研究重点和技术发展趋势

4.1 研究重点

应该从以下几个方面研究：
（1）多种立体匹配算法有效融合。例如，
特征匹配算法只能对特征点处建立稀疏视差；
区域匹配算法计算量较大，对遮挡、无纹理和深度不连续等复杂图像得不到正确结果；
梯度优化算法容易收敛到局部极小值，对初始值要求较高；
动态规划算法在计算量不增加的前提下，不能很好地融合水平和垂直连续性约束；
图割算法计算量大，实时性难以满足。
（2）研究新颖的特定匹配约束以及合理变通利用约束
（3）能量函数构造及其最优求解策略是全局算法的核心问题
（4）纹理缺乏、特征缺失、遮挡和不连续的图像区域，是立体匹配研究中的一个难点和重点。对于视差图进行修补是进一步改进性能的方法之一。目前匹配修补算法中只用到了待补全点处的信息，更有效的使用已知视差信息是一个值得进一步研究的课题。
（5）对匹配算法评价方法的研究。

4.2 技术发展趋势

（1）完善双目立体匹配总体理论框架。
（2）立体匹配与重建相结合。对于一个完整的立体视觉系统而言，匹配和内插重建过程并不是两个不相关的独立模块，它们之间存在着信息的反馈。匹配结果约束着内插的重建；反过来，重建结果又引导着正确的匹配。