[1] Lovegrove S, Patron-Perez A, Sibley G. Spline Fusion: A continuous-time representation for visual-inertial fusion with application to rolling shutter cameras[J]. Bulletin of Mathematical Biology, 2013, 74(8):1764.
样条融合:一种应用于卷帘快门相机的视觉-惯性融合连续时间表示方法
本文介绍了一种利用卷帘式CMOS相机和MEMS IMUs等传感器进行SLAM和视觉惯性标定的方法。利用相机轨迹的连续时间模型,融合来自其它不同步的高速率传感器的信息,同时限制状态大小。对相机的卷帘快门进行建模,并能在惯性测量中产生误差。该模型不局限于视觉惯性SLAM,还可以简化其他传感器的集成,如旋转SICK激光雷达。
我们的方法的核心是一个连续的轨迹表示,类似于在[2]中提出的。我们选择了一个提供
- 本地控制,允许系统在线和批量运行。
- C2的连续性,使我们能够预测IMU的测量值。
- 一个很好的近似最小扭矩轨迹
三维B样条曲线是一种著名的三维空间轨迹表示方法,但在处理三维旋转时,如SO3中的插值,就不那么容易应用了。例如,C2的连续性不一定保留[3]。我们选择使用李代数形成的累积基函数参数化连续轨迹,与[1]中提出的方法等价。利用累积B样条基函数,是在计算机动画的背景下首次提出[4]的,用于四元数插值的方法。这种表示不仅是C2连续的,而且它还提供了一个非常简单的二阶导数公式。
累积B样条曲线参数化允许在样条曲线上的任意一点计算解析时间导数。可以很容易地合成加速度计和陀螺仪的测量值,反过来可以利用它们对观测到的测量值形成直接误差。
连续时间框架的另一个优点是处理卷帘快门相机。虽然卷帘快门相机的射影几何形状与全局快门相机相同,但图像的每一行都是在不同的时间内曝光的,每一行都比上一行延迟得更久。当相机在运动时,这可能导致图像出现扭曲和倾斜(图2a)。使用相机运动的连续时间模型,将图像的每一行看作是单独曝光的,如图1所示。
![](https://i-blog.csdnimg.cn/blog_migrate/a07f2277f836e0ac1277b3c6df1d90bb.png)
每条扫描线实际上是一个推扫式相机(左);这种扫描线相机的测量会随着时间的推移而被捕获,这就定义了实际传感器返回的图像(右图)。
![](https://i-blog.csdnimg.cn/blog_migrate/7f4bdfca3f97ebddd306184b8873fb9d.png)
(a)仍然从模拟序列显示大卷帘门翘曲。(b)在模拟(蓝色)和非模拟(绿色)卷帘快门时,地面真实轨迹(红色)与估计轨迹的比较。
给出了视觉和惯性数据的生成模型,通过最小化观测值与预测值之间的差值所形成的目标函数,我们可以批量或跨窗口求解样条曲线和相机参数。利用连续时间公式,可以对重投影误差和惯性误差进行均匀处理,并根据设备规格或校准计算出它们各自的信息矩阵进行加权。
我们进行了仿真和实际数据的实验,以评估我们灵活的连续时间方法。我们在一个模拟的单目卷帘快门数据集(图2)上展示了滑窗视觉里程计结果,然后在视觉惯性联合SLAM和自校准的真实数据上展示了我们的系统(图3)。
![](https://i-blog.csdnimg.cn/blog_migrate/63f0fe6df4808d317636ec42baebdc02.png)
同样,这些图中的结构和比例是在事先不了解场景的情况下精确估计的。这是我们的第一个实验分析,完整而鲁棒的前端特征跟踪尚未完成,网格只是用来简化数据关联。在这种情况下仍然完成了full-SLAM和视觉惯性自校准的评估和演示。