视觉VIO框架: MSCKF

前端

1. 前端负责提取双目数据的FAST特征点并跟踪，同时还会接收IMU数据，积分得到旋转，用于预测匹配点。
2. 图像金字塔是为了在大幅运动下光流跟踪精准。只会在第一层图像上提取点。
3. 双目不需要极线矫正。
4. 前端不做三角化。
5. TwoPointsRANSAC:
   • 迭代次数通过概率计算获得，迭代满次。
   • R通过IMU计算，根据对极约束和本质矩阵(E=t^R)，算出t, 去除外点。
   • 当仅用旋转预测得到很小的投影误差时，说明运动退化，平移t几乎是0。
6. 新特征点提取不会在跟踪成功的点附近，跟踪做了多次去外点的操作，包括左目前后帧，右目前后帧和左右目之间。当没有跟踪成功的点时，前端不会做代码层面的视觉初始化，只是不向后端发送坐标。
7. 每个grid内超过最大设置数删除跟踪点，按生命周期降序排列，周期长的点不会被删除。
8. 前端会把追踪到的特征点的id与特征点在左右目去畸变的归一化坐标发送给后端。