计算机视觉 — 立体视觉

一、原理

1. 介绍
   立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维几何信息。立体视觉的研究具有重要的应用价值，其应用包括移动机器人的自主导航系统，航空及遥感测量，工业自动化系统等。
   一般而言，立体视觉的研究有如下三类方法:
   (1) 直接利用测距器（如激光测距仪）获得程距（range data）信息，建立三维描述的方法;
   (2) 仅利用一幅图象所提供的信息推断三维形状的方法;
   (3) 利用不同视点上的，也许是不同时间拍摄的，两幅或更多幅图象提供的信息重构三维结构的方法。

2. 整体流程

   (1) 图象获取 (image acquisition)

   用作立体视觉研究的图象的获取方法是多种多样的，在时间、视点、方向上有很大的变动范围，直接受所应用领域的影响。立体视觉的研究主要集中在三个应用领域中，即自动测绘中的航空图片的解释，自主车的导引及避障，人类立体视觉的功能模拟。不同的应用领域涉及不同类的景物，就场景特征的区别来分，可以划分成两大类，一类是含有文明特征(cultural features)的景物，如建筑、道路等; 另一类是含有自然特征的景物和表面(natural objects and surfaces)， 如山、水、平原及树木等。不同类的景物的图象处理方法大不相同，各有其特殊性。

   (2) 摄像机模型 (camera modeling)

   摄像机模型就是对立体摄像机组的重要的几何与物理特征的表示形式，它作为一个计算模型，根据对应点的视差信息，用于计算对应点所代表的空间点的位置。摄像机模型除了提供图象上对应点空间与实际场景空间之间的映射关系外，还可以用于约束寻找对应点时的搜索空间，从而降低匹配算法的复杂性，减小误匹配率。

   (3) 特征抽取 (feature acquisition)

   几乎是同一灰度的没有特征的区域是难以找到可靠匹配的，因而，绝大部分计算机视觉中的工作都包括某种形式的特征抽取过程，而且特征抽取的具体形式与匹配策略紧密相关。在立体视觉的研究中，特征抽取过程就是提取匹配基元的过程。

   (4) 图象匹配 (image matching)

   图象匹配是立体视觉系统的核心，是建立图象间的对应从而计算视差的过程，是极为重要的。

   (5) 深度计算 (distance(depth) determination)

   立体视觉的关键在于图象匹配，一旦精确的对应点建立起来，距离的计算相对而言只是一个简单的三角计算而已。然而，深度计算过程也遇到了显著的困难，尤其是当对应点具有某种程度的非精确性或不可靠性时。粗略地说，距离计算的误差与匹配的偏差成正比，而与摄像机组的基线长成反比。加大基线长可以减少误差，但是这又增大了视差范围和待匹配特征间的差别，从而使匹配问题复杂化了。为了解决这一问题出现了各种匹配策略，如由粗到精策略，松驰法等。

   (6) 内插 (interpolation)

   在立体视觉的应用领域中，一般都需要一个稠密的深度图。基于特征匹配的算法得到的仅是一个稀疏而且分布并不均匀的深度图。在这种意义下，基于区域相关匹配的算法更适合于获得稠密的深度图，但是该方法在那些几乎没有信息（灰度均匀）的区域上的匹配往往不可靠。因此，两类方法都离不开某种意义的内插过程。最为直接的将稀疏深度图内插成稠密的深度图的方法是将稀疏深度图看作为连续深度图的一个采样，用一般的内插方法（如样条逼近）来近似该连续深度图。当稀疏深度图足以反映深度的重要变化时，该方法可能是合适的。如起伏地貌的航空立体照片的处理中用这种方式的内插也许是比较合适的。但是这种方法在许多应用领域中，尤其是在有遮掩边界的图象的领域中，就不适用了。

3. 几何原理
   对应于同一场景点的点对

4. 极线校正
   对极约束意味着一旦我们知道了立体视觉系统的对极几何之后，对两幅图像间匹配特征的二维搜索就转变成了沿着极线的一维搜索。

5. 匹配代价计算（Cost Computation）

   计算匹配代价，即计算参考图像上每个像素点IR§，以所有视差可能性去匹配目标图像上对应点IT(pd)的代价值，因此计算得到的代价值可以存储在一个hwd(MAX)的三维数组中，通常称这个三维数组为视差空间图（Disparity Space Image，DSI）。匹配代价时立体匹配的基础，设计抗噪声干扰、对光照变化不敏感的匹配代价，能提高立体匹配的精度。因此，匹配代价的设计在全局算法和局部算法中都是研究的重点。

   匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。

   每个像素在搜索同名点之前，往往会指定一个视差搜索范围D（Dmin ~ Dmax）,视差搜索时将范围限定在D内，用一个大小为W×H×D（W为影像宽度，H为影像高度）的三维矩阵C来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵C通常称为DSI（Disparity Space Image）。

   匹配代价计算是整个立体匹配算法的基础，实际是对不同视差下进行灰度相似性测量。常见的方法有灰度差的平方SD（squared intensity differences），灰度差的绝对值AD（absolute intensity differences）等。另外，在求原始匹配代价时可以设定一个上限值，来减弱叠加过程中的误匹配的影响。以AD法求匹配代价为例，可用下式进行计算，其中T为设定的阈值。
   C ( x i , y i ) = { ∣ I L ( x i ) − I R ( y i ) ∣ , ∣ I L ( x i ) − I R ( y i ) ∣ < T T , ∣ I L (