所谓VIO(visual inertial odometry)就是视觉传感器(camera)+IMU(inertial measurement unit)一起来做自主定位。目前主要应用手机AR,无人车高精地图,无人机等领域。这个技术目前做的怎么样呢?理论很成熟,但是纯靠vio去解决定位的应用并不多。手机AR算是一个比较成功单靠vio做的比较好应用,automated driving, UAV 和mobile robot 基本没有全靠vio来做的。
我把VIO分成前端和后端两个部分。顺便总结一下知识点。
一:视觉和IMU前端数据处理
对于视觉前端做法基本分为三种:
①特征点提取(feature detection)+根据描述子匹配特征点
主流的算法如orbslam, okvis都这采取的这个算法,优点是因为有描述子,因此对地图的维护很方便(包括重定位,闭环,全局优化)。这点很重要,尤其是对室内环境,当视觉上共视关系较多的时候,这种方法能很大提高定位精度和局部的稳定性。比如手机AR,室内移动机器人建议使用这种方法。缺点是每帧图像都要提取特征点数量的描述子,有些浪费时间(其实提取描述子时间没有大多数人想象的那么多时间,1000特征点,在3000元的手机上提取brief描述子的话,大概在10ms左右。)还有个缺点是在tracking过程中,如果出现运动过快(图像出现模糊)比较容