ORB-SLAM3 tracking跟踪线程具体流程分析

ORB-SLAM3 中tracking线程是主线程，也是最为重要的部分，以双目为例，下面是本人对该线程的理解

基本流程

**track()流程如下:
从main()主函数进入 -> 读取图片(左右图，时间戳) -> 创建系统对象System SLAM
-> 主循环 -> 双目跟踪System::TrackStereo() -> 处理双目数据Tracking::GrabImageStereo()
-> 创建frame, track ->开始跟踪 -> 返回mCurrentFrame.mTcw
**

初始化

Frame():帧的初始化

创建帧
计算图像金字塔参数
提取特征点（左右目双线程同时提取）
特征点矫正
特征点匹配，计算深度
特征点网格化

双目初始化：

对第一个特征点数量>500 的帧(Frame)进行初始化。
将其设置为世界坐标系
以该帧为源帧生成关键帧(KeyFrame)，并将该关键帧添加到地图(Map)
由该帧中所有具有深度的特征生成地图点(MapPoint)，关联地图点、关键帧和当前帧
将关键帧添加到局部地图(LocalMapping)

流程图

三个跟踪模型

一：关键帧跟踪TrackReferenceKeyFrame()：

1.计算当前帧的词袋
2.通过BoW匹配当前帧F和当前帧的参考关键帧pKF共有的地图点 SearchByBow()
3.以Tracking类成员变量mLastFrame的位姿作为当前帧位姿的初始值
4.g2o优化位姿(3d-2d) Optimizer::PoseOptimization(&mCurrentFrame)
5.剔除外点
6.判断是否跟踪成功（匹配内点数大于10个）

二：运动模型跟踪TrackWithMotionModel()：

假定前后帧匀速运动，对上一帧的MapPoints进行跟踪，用上一帧位姿和速度估计当前帧位姿。
1.UpdateLastFrame() : 非单目定位模式调用，添加几个临时MP，加强跟踪效果
2.使用运动模型估计当前帧位姿（mVelocity*mLastFrame.mTcw）
3.将上一帧的地图点投影至当前帧，并与关键点匹配SearchByProjection(), 如果跟踪点少，扩大搜索半径再次匹配
4.根据匹配点对进行当前帧位姿优化PoseOptimization()
5.抛弃外点。
6.判断跟踪状态。Tracking处于定位模式，如果当前帧的地图点多于20个，则跟踪成功。Tracking处于跟踪且建图模式，那么只要当前帧有效地图点多于10个即跟踪成功

三：重定位Relocalization()：

1.计算当前帧的BoW
2.DetectRelocalizationCandidates()函数找到当前帧对应的候选关键帧
3.SearchByBow()匹配当前帧和每个关键帧，用EPNP估计位姿
如果估计成功，用估计所得的内点更新当前帧的特征匹配
4.PoseOptimization()，位姿优化，优化后，剔除外点

更新局部关键帧：

以上三种方法（运动模型跟踪，关键帧跟踪，重定位）都是基于帧间匹配，然后优化3D-2D重投影误差得到当前帧的初始位姿。
但是这样得到的初始位姿不是可靠的，其只利用了两帧数据的信息，如果前一帧质量太差，得到的位姿可信度低。因此为了利用更多的信息，需要进一步将当前帧与局部地图进行匹配和优化，也就是跟踪局部地图TrackLocalMap()

利用到之前所有所有能观察到当前帧对应地图点的的关键帧(共视关键帧)
1.更新局部关键帧和局部地图点
2.将当前帧视野范围内的地图点和当前帧的特征点进行投影匹配,在局部地图的全部地图点中查找与当前
帧匹配的MapPoints。SearchLocalPoints()
3.PoseOptimization()根据新的匹配点重新优化相机位姿

是否插入关键帧

完成上述步骤后，最后一部是确定是否需要插入关键帧NeedNewKeyFrame()和关键帧的插入CreateNewKeyFrame()
确定关键帧的标准如下：
（1）在上一个全局重定位后，又过了20帧；
（2）局部建图闲置，或在上一个关键帧插入后，又过了20帧；
（3) 当前帧跟踪到大于50个点；
（4）当前帧跟踪到的比参考关键帧少90%

至此，跟踪流程结束。