相机与IMU外参标定
什么是相机与IMU外参?
足够准确的相机与IMU外参是实现相机与IMU融合的定位与建图的前提。相机与IMU之间的外参包括两部分:
1.相机与IMU之间的相对位姿
2.相机与IMU之间的时间差
相机与IMU之间的相对位姿
如下图所示,相机与IMU之间的相对位姿值的是相机坐标系和IMU坐标系之间的变换,包括相对旋转角和相对平移量。
相机与IMU之间的时间差
由于触发延时、传输延时的存在,传感器的采样时间和时间戳的时间不匹配,如下图所示,从而导致相机和IMU之间存在时间差td。
标定方法
相机与IMU之间的相对位姿
相机与IMU的标定方法很多,有在线和离线两种方式.其中通过Kalibr工具箱进行标定的方法属于离线标定,并且还依赖场景中的标定板,是很麻烦的一种标定方法.而在线标定方法操作简便,不需要特定的场景布置,直接多角度移动设备即可实现标定,因此是极力推崇的方法。
港科大沈劭劼实验室提出了在初始化的同时对相机与IMU之间的外参进行标定的方法。流程如下图所示。首先进行相机与IMU之间相对旋转角的标定,标定完成之后进行初始化和相机与IMU之间相对平移量的标定。标定和初始化完成后进行视觉惯性联合的状态估计,并且把标定量也当做待估计的状态放入联合优化中。此在线标定方法被应用于VINS中。
具体方法如下:
可以参考:VINS-Mono-相机与IMU外参标定原理及源码解析.
想要求解相机到IMU的旋转,那首先要构建约束,在一个SLAM系统中通过相机的两帧来构建约束。
如下图,红色路径的变换理论上等于绿色路径的变换,通过这两种方式可以构建包含相机到IMU的旋转变换的约束方程。
构建如下等式:
S为尺度因子
上式等价于:
上式可写成:
多个时刻的线性方程累计起来:
就能求解相对旋转。
相机与IMU之间的时间差
方法1 基于像素点匀速运动的时间差标定方法:
原理为:假设在较短时间内相机从Ck匀速运动到Ck+1,特征点在像素平面上的投影也从[vk,uk]匀速运动至[vk+1,uk+1],像素匀速运动的速度为V。如下图所示。
通过平移像素坐标,将时间差作为优化变量加入投影误差的表达式中,如下面式子所示。
此投影误差项与IMU误差项和初始值误差项相加进行联合非线性优化。每一次优化结束后对时间差进行补偿,最终时间差的标定量逐渐趋于0。
方法2 将时间差变量加入IMU预积分表达式中:
中的方法引入了像素点匀速运动的假设,不够精确。中科院自动化所的Jinxu Liu等提出的时间差的在线标定方法将时间差加入到IMU预积分表达式中,并且同样作为优化变量参与联合非线性优化。相比于中的方法在表达式上更加复杂,但是带来了更加快速和精确的标定结果。