基于SLAM的双目立体视觉实时自标定

1.介绍

随着binocular stereo vision (BSV)设备在计算机视觉中的广泛应用，提出了多种方法对其进行标定。现有的标定方法大多基于特定参考目标或模式的手动离线标定算法，如传统的标定方法、平面模板法、基于三维目标的标定方法，然而标定算法和步骤复杂、耗时，适用于摄像机参数不经常变化的场合。
为了避免传统方法的缺点，平面模板法得到了广泛的研究。张正友提出用棋盘来校准相机，这种方法应用广泛。
基于三维目标的标定方法通过将目标放在摄像机视场中一次获得标定参数，使标定过程更加简化。但是借助于标记物，标定精度高，标定过程简单，但标定方法仍不够灵活。由于三维目标的加工和所有特征点的定标图像的清晰度难以保持一致，限制了其实际应用。
针对标定问题，提出一种双目相机自标定方法，该方法只需要图像序列的约束，不需要预先设计任何特殊的参考对象或模式，从而可以实时在线标定摄像机参数，Luong、Tang、Boudine、Ji、Wang等都提出一种标定双目相机的方法，但校准过程仍然需要复杂的用户干预，有些方法要求用户手动指定BSV钻机的两个摄像机视图之间的点对应关系，这在实践中似乎很不方便。
目前Carrera 等人使用改进的单目视觉Mono-SLAM算法分别对每台摄像机的视频序列进行处理，然后根据相应的SURF特征对每台摄像机获取的地图进行鲁棒匹配和融合。最后，将全局地图与摄像机提取的SURF特征相匹配，对多个摄像机之间的外部参数进行标定。然而，该方法并不能提供周围环境的真实尺度信息，其标定精度和效率有待进一步验证。
因此作者提出一种基于光流法的双目相机外参自标定方法，主要创新有：
1）提出的基于SLAM的自标定方法可以在不需要辅助设备和专用标定标记的情况下，估计出BSV相机的外部参数
2）基线确定后，平台正常行驶过程中可实时实施全自动校准过程，无需复杂的相机移动要求和先验环境信息
3)在实验部分，将提出的自标定方法应用于安装BSV模块的移动平台，该方法能在短时间内准确标定BSV试验台

2.基于SLAM的自校准流程

该方法主要分为两部分：基于SLAM的自然环境三维特征点图的构建和外部参数的标定。

图1 基于SLAM的自校准

3. 基于SLAM的三维场景点图构建

3.1 单目视觉SLAM系统

构建了一个基于光流法的轻型单目视觉SLAM系统，系统主要由四部分组成：跟踪、局部映射、局部BA和映射。由于BSV设备可以在较短的路径上进行校准，因此没有执行环路闭合检测部分。

图2 轻型单目视觉SLAM系统

3.2 单目相机姿态跟踪

为了减少单目相机姿态跟踪的时间，利用光流信息进行特征对应、映射点选择、离群点剔除和姿态估计。采用LK光流法作为特征点跟踪快速探测器。论文文采用了文献中《Video Extruder: A semi-dense point tracker for extracting beams of trajectories in real time.》经典的角点提取和光流跟踪策略。提取到的特征点往往是聚集的，容易引起特征跟踪误差，导致特征失配，进而影响摄像机姿态跟踪和三维场景点地图的构建，因此采用非极大值抑制方法对局部非极大值点进行滤波，在图像的各个区域尽可能精确地分布角点。
为提高特征对应的性能，使用了类似于《Grid-based motion statistics for fast, ultra-robust feature correspondence》中提出的方法的网格化地图管理策略，以最大限度地检测到两个单目重叠视图之间的大量对应特征摄像机，如图4a。然后利用光流法对稀疏均匀分布策略处理后的特征点进行跟踪，跟踪效果如图4b所示。

在跟踪单目相机前，需初始化，初始化完成后，以当前帧为关键帧，采用BA优化算法对初始帧姿态和局部地图进行优化。在获取关键帧后的相机姿态跟踪过程中，采用PnP方法结合RANSAC算法对摄像机姿态进行估计。使用Levenberg-Marquardt算法最小化相应特征点对之间的距离，以计算每个帧的姿态。再用位姿图优化相机姿态得到全局一致的相机姿态估计。

3.3 构建3D点云地图

通过3D地图点、相机平面投影点，共视投影点通过三角化构建点云地图。为了减少由虚假跟踪和噪声引起的地图不准确，将三维特征点投影到任意共视框架上，当重投影误差超过T∈Z倍平均误差时，三维特征点Pj则被删除。
再使用BA优化所有关键帧上的特征观测的重投影误差：

4.外参校准

4.1 匹配特征点

使用光流方法对左、右相机特征匹配，但是，使用此方法将返回一些不匹配的点。为了保证不同摄像机间特征对应的准确性，采用基于灰度相似度的互相关检验算法对特征对应进行滤波，得到三维场景点与右摄像机二维特征点之间的三维-二维对应关系。

4.2 初始外参估计

通过得到的二维特征点之间的三维-二维特征对应关系，RANSAC算法用于消除异常值，PnP方法用于解决初始相对变换：
得到变换矩阵：

4.3 联合优化

将单目摄像机的姿态、三维场景点图以及两个单目摄像机之间的相对变换进行联合优化，以获得更精确的外部参数。
优化目标函数：

4.4 验证校准结果

基于前一步获得的外部参数提供尺度信息，并利用此结果对双目图像进行立体校正。因此，可以根据校正后的误差来选择最佳的标定结果。
为了提高标定算法的实用性以及在通用设备中的应用，方便地测量左右摄像机之间的基线长度。摄像机外部参数的比例信息：

使用外部参数对两幅图像进行校正时，理想情况下，对应于同一3D场景点的特征点的图像坐标应该在同一条极坐标线上。但是，由于标定的不精确性，在立体校正中可能会出现一些误差。因此采用立体极线校正法《A compact algorithm for rectification of stereo pairs》选择最佳标定结果，采用了Bouguet等人的算法校正。

5.实验

5.1 实验平台

如图7所示构造了一个BSV模块。两个摄像机可以旋转，其基线长度可以任意调整。左右摄像机的图像分辨率为640像素×472像素，采集的图像通过网线传输到计算机。表1列出了左、右摄像机的固有参数，包括焦距、主点和张方法得到的畸变系数。

图7 BSV模块 

5.2 与张标定法比较

通过调整两台BSV摄像机之间的基线位置和旋转角度，进行了15组实验。在每个实验中，由提出的方法和张的方法得到的旋转矩阵转换的三个欧拉角如图8所示，即rx、ry和rz。通过比较，发现两种方法测定的rx、ry和rz的趋势是一致的。在图9，使用张的方法得到的结果作为参考，并且计算了我们提出的方法得到的与参考有关的角度的绝对误差，三个角度的平均绝对误差不超过0.5°。

图8 两个摄像机之间的欧拉角对比

图9 欧拉角绝对误差

通过比较，如图10，两种方法得到的tx、ty和tz的变化趋势是一致的。平移矢量相对于参考值的绝对误差如图11所示。平移矢量的平均绝对误差不超过2毫米，其中，ty最小误差是1.15mm。

图10 两个摄像机之间的平移矢量

图11 两个摄像机之间的平移矢量对比

在15组实验中记录了作者和Zhang两种标定方法的均方根误差（RMSE），以评价重投影的精度。张氏法平均RMSE为0.29像素，作者的方法平均RMSE为0.51像素。