多目SLAM

---

1 文献

1.1 Redesigning SLAM for Arbitrary Multi-Camera Systems

Kuo, J., Muglikar, M., Zhang, Z., & Scaramuzza, D. (2020, May). Redesigning SLAM for arbitrary multi-camera systems. In 2020 IEEE International Conference on Robotics and Automation (ICRA) (pp. 2116-2122). IEEE.

1.1.1 本文核心贡献

本文作者提出了非常实用的针对任意目SLAM的tricks：

• 提出了一种针对任意数量相机的自适应初始化方案
• 一种与传感器无关的信息理论关键帧选择算法
• 一种可扩展的基于体素的地图。（传统算法一般采用基于共视图的方法，如ORB-SLAM）

1.1.2 现状分析

i 初始化方法现状

• 单目：多帧五点法求解相对位姿，或利用单应性
• 双目：直接三角化
• 多目：基本是上述的混合方法

ii 关键帧选取方法现状

第一类：基于经验法（启发式）

• 根据相机运动的幅度：比如ORB-SLAM其中一个标准是检查当前帧是否距离最后一个关键帧有一定的帧数；DSO和SVO检查当前姿态与上一个关键帧姿态是否有一定的运动距离，是则选择作为一个新的关键帧
• 根据跟踪的特征点数量：如果当前帧中跟踪特征的数量或百分比低于某个阈值，则选择新的关键帧。然而，具体的阈值通常在不同的场景之间差异很大。
• 根据光流：当前帧和最后一个关键帧的对应特征之间的欧氏范数。
• 根据亮度变化：直接法中还会将图像亮度变化作为一个选择因素，因为直接法对亮度敏感。

第二类：基于信息理论

• 依据当前帧相对关键帧位姿的不确定度

iii 地图管理和查询现状

传统基于关键帧共视图的地图结构在多目系统中将变得更加复杂：

1. 当前帧如何与地图之间找到2D-3D的配对？
2. 如果多目的话是不是要保存所有目的帧信息作为一个关键帧（keyframe bundle）？

1.1.3 自适应初始化

作者提出了一种比较实用的基于采样判定重叠视场的自适应初始化方法，核心是计算两两相机之间的重叠FOV，根据重叠大小来判断是不是组成双目，进而选择双目初始化方法还是单目多帧初始化方法。

基于采样的重叠视场计算方法：

1. 在一个相机的图像平面均匀采样，反投影得到空间点；
2. 根据预设的最小和最大深度，每个采样点可以得到两个空间点，再根据内外参将空间点投影到第二个相机，如果两个空间点均落在第二个相机图像平面上，则认为这个采样点是共视点；
3. 最后根据共视点占采样总数的比例确定是否是stereo相机组。这个比例阈值也是预设值，需要进行超参调校。

1.1.4 基于熵的关键帧选择

作者的思路在于，跟踪 local map求解current frame位姿的质量，如果质量不佳，就将该帧作为关键帧。其指标用到了最小二乘解的协方差。

最小二乘优化过程会有一个产物——估计值的协方差（也即Fisher信息的逆）。可以用该值来衡量最小二乘的好坏。

利用上值构造负熵来衡量位姿估计的好坏：

当然作者还采用了一些平滑和相对值的方法来处理负熵指标。跟踪过程中，负熵、平滑负熵、负熵相对阈值的变化如下图所示：

思考：参考作者利用最小二乘构造信息熵的思路，在滤波框架的SLAM中，也可以利用协方差指标来进行关键帧的选取。

1.1.5 地图管理和查询

在地图管理和查询方面，作者利用体素地图来组织地图点，实现地图点和当前帧的关联。具体方法发表在作者的另一篇论文里（ICRA2020）：

Muglikar, M., Zhang, Z., & Scaramuzza, D. (2020, May). Voxel map for visual SLAM. In 2020 IEEE International Conference on Robotics and Automation (ICRA) (pp. 4181-4187). IEEE.

关联的核心思想与前述基于采样判定重叠视场的思路一致：也是在图像平面均匀采样，反投影到空间，然后再d_min 和d_max之间均匀采点（可以预先计算），再转换到世界坐标系，通过哈希映射找到map中的体素进行关联，再投影到像平面进行关联。

1.2 MIMC-VINS: A Versatile and Resilient Multi-IMU Multi-Camera Visual-Inertial Navigation Syste

Eckenhoff, K., Geneva, P., & Huang, G. (2021). MIMC-VINS: A versatile and resilient multi-IMU multi-camera visual-inertial navigation system. IEEE Transactions on Robotics, 37(5), 1360-1380.

1.2.1 核心贡献

1.2.2 现状分析

• 文中提到一个多IMU的研究，采用一个虚拟IMU的方式来集成多个IMU观测