双目立体视觉是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。
双目立体视觉技术的实现可分为以下步骤:图像获取、摄像机标定、特征提取、图像匹配和三维重建,下面介绍各个步骤的实现方法和技术特点。
1、 图像获取
双目立体视觉的图像获取是由不同位置的两台(CCD)摄像机经过移动或旋转拍摄同一幅场景,获取立体图像对。假定摄像机C1与C2的角距和内部参数都相等,两摄像机的光轴互相平行,二维成像平面X1O1Y1和X2O2Y2重合,P1与P2分别是空间点P在C1与C2上的成像点。
一般情况下,针孔模型两个摄像机的内部参数不可能完成相同,摄像机安装时无法看到光轴和成像平面,故实际中难以应用。在满足测量范围的前提下,应选择两CCD之间夹角在50℃~80℃之间。
2、摄像机的标定
相机标定是实现立体视觉基本而又关键的一步,通常采用单摄像机的标定方法,分别得到两个摄像机的内、外参数。再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。
目前常用的单摄像机标定方法:
1)摄影测量学的传统设备标定法。利用至少17个参数描述,计算量大。
2)直接线性变换性。涉及的参数少、便于计算。
3)透视变换短阵法。从透视变换的角度来建立摄像机的成像模型,无需初始值,可进行实时计算。
4)相机标定的两步法。首先采用透视矩阵变换的方法进行求解线性系统的摄像机参数,再以求得的参数为初始值,考虑畸变因素,利用最优化方法求得非线性解,标定精度较高。
5)双平面标定法。
在双摄像机标定中,需要精确的外部参数。需要至少6个以上已知世界坐标点,才能得到比较满意的参数矩阵。实际测量过程不但复杂,而且效果并不一定理想,此外还需考虑镜头的非线性校正、测量范围和精度的问题。
3、特征点提取
在进行特征点像的坐标提取前,需对获取的图像进行预处理。通过此处理可显著改进图像质量,使图像中特征点更加突出。立体像对中需要提取的特征点应满足与传感器类型及抽取特征所用技术等相适应,具有足够的鲁棒性和一致性。
4、 立体匹配
立体匹配是双目立体视觉中最困难的一步,根据匹配基元的不同,立体匹配可分为区域匹配、特征匹配和相位匹配三大类。
区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度,它在变化平缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择,其次是数据计算量大、速度慢,采取由粗至精分级匹配策略能大大减少搜索空间的大小,与匹配窗大小无关的互相关运算能显著提高运算速度。
特征匹配不直接依赖于灰度,具有较强的抗干扰性,计算量小,速度快。但存一些不足:特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场。特征的定位过程直接影响匹配结果的精确度。
相位作为匹配基元,本身反映信号的结构信息,对图像的高频噪声有很好的抑制作用,适于并行处理,能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题,需加入自适应滤波器解决。
5、 三维重建
在得到空间任一点在两个图像中的对应坐标和两摄像机参数矩阵的条件下,即可进行空间点的重建。通过建立以该点的世界坐标为未知数的四个线性方程,可以用最小二乘法求解得该点的世界坐标,实际重建通常采用外极线结束法计算。