《论文阅读》Tight Integration of Feature-based Relocalization in Monocular Direct Visual Odometry

留个笔记自用

Tight Integration of Feature-based Relocalization in Monocular Direct Visual Odometry

做什么

Monocular Visual Odometry单目视觉里程计

相机在运动过程中连续两帧之间会存在overlap，即会同时观测到三维世界中的某些场景以及特征点。而这些场景特征点会投射到2D图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特点或patch的对应关系。利用相机的成像几何模型（包括相机参数）以及约束，可以求出两帧之间的运动信息（旋转矩阵R和平移t）。这样我们就可以得到一系列的相机相对变化矩阵，从而可以推出相机的姿态信息。

做了什么

这里将图像特征集成到直接稀疏里程计(DSO)中，并依靠特征匹配将在线视觉里程计(VO)与先前构建的地图相关联，也就是一个将基于地图的再定位集成到在线直接视觉里程计中的框架

怎么做

整体框架由三个部分组成，第一个部分relocalization重定位模块，第二个部分VO视觉里程计模块，第三个部分fusion融合模块
然后是具体的模块部分
首先是第一部分，重定位模块

这个模块分为两步，第一步使用Bag-of-Words（很经典的词袋算法）来找到潜在对象，第二步根据特征对应估计当前帧与地图之间的相对姿态，并计算全局重定位姿态。
具体来说，首先是词袋算法的应用。
从图上可以看出，这部分的输入是image sequence和3D map，系统受到新图像后提取特征，然后用词袋算法将其转换为一个全局描述符（global descriptor）
然后将另外一个输入3D map也就是预先构建的全局地图，从中选择前三名检索候选，并继续进行特征匹配
有了参考地图帧和当前帧之间的3D-2D对应，用Ransac就可以得到6DoF的相对位姿转换，然后通过将相应的相对变换连接到具有最大数量的特征对应的候选地图的全局姿态来计算最终的全局姿态
然后是VO模块，整体构造借鉴了《Direct sparse odometry》这篇论文

简单来说，就是通过直接图像对齐来估计其相对于参考关键帧的初始姿态，然后在滑动窗口中细化关键帧的姿态。

F是关键帧的个数，P_i是关键帧i的点集合，obs（p）是这个观察点p的关键帧集合，E_pj是一个权重项，对点p和每个对应的关键帧的，也就是这个点p在关键帧i中被观察到，而在关键帧j中也有
总的来说，这里的E_photo是一个光流误差，优化每个关键帧中点与其他关键帧点的对应，以此来优化里程计
然后是这个模块中的部分

这里的输入是前一个部分重定位部分，也就是用前一步得到的重定位位姿来作为接下来的先验条件，这里用的是一种tracking的方法
首先是粗略tracking设计，这里直接采用重定位部分的全局位姿来作为先验条件，也就是用作两帧直接图像对准的初始化

红框是Photometric factor也就是前面定义的光流误差E_photo，绿色框是marginalization边缘化因子，蓝色是前面部分初始化得到的全局位姿因子

F一样是关键帧的集合，R_i是F的子集，是一个包含了具有重定位姿态的关键帧，Σ是一个协方差单位矩阵，Log是一个映射函数，从SE(3)到se(3)的函数，T就是常见的位姿转换
总的来说，这个E_pose的作用就是优化相对位姿和重定位位姿之间的关系
最后
最后是fusion部分

除了将再定位姿态集成到直接图像对准和束调整中，还提出了局部姿态图来在线融合里程计和再定位估计

这里的T是关键帧的相对位姿，F是关键帧的融合位姿，Log仍然是前面的SE（3）的一个映射，第一行是一个约束条件的意思，是一个里程计约束
M是map轨迹，里程计需要的，T^则是全局重定位位姿，第二是一个map约束
最后

F_m是对于关键帧m的对应关键帧集合，L是关键帧i的参考集合

总结

1.基本没看懂在做什么，只理解了大致框架是怎么做的，而至于具体细节部分非常懵逼。。果然也没有开源代码，但个人认为对我来说没有任何用处，所以也不想细看了，没有什么借鉴意义