DAVIS第六课: 基于关键帧的非线性优化的事件相机实时VIO算法

学习论文Real-time Visual-Inertial Odometry for Event Cameras using Keyframe-based Nonlinear Optimization

1. 摘要

提出一种新颖， 精确的紧密耦合的视觉里程计。充分利用该相机的属性去估计相机的在高挑战场景下的运动。

这个方法追踪一组特征点（在图像平面提取的特征）， 我们考虑时空重叠窗口内的事件， 用当前相机的运动和场景结构进行校准， 产生运动补偿帧。

最后结合基于关键帧内追踪到的特征点，基于非线性优化的VO算法去估计相机的6-自由度位姿， 速度和IMU偏差。

2.方法

• Feature Detectiong

对运动消除的之后的事件帧采用Fast角点检测，github项目地址为： https://github.com/uzh-rpg/fast

 Fast Cornel detection[23]：  Machine learning for high-speed corner detection. Edward Rosten

• Feature Tracking and LandMarks

相邻两事件帧使用金字塔LK光流法去追踪路标点， IMU获取的转换矩阵用于预测特征的位置， 使用金字塔跟踪的位姿进行校准， 对那些没有追踪成功的点立即丢弃。

pyramidal Lukas-Kanade [2] : Lucas-kanade 20 years on: A unifying fra