目录
2、ORB-SLAM2的工作流程:检测功能点、立体声匹配、功能匹配和运动估计
1、如何解决光流跟踪过程中丢失特征点的问题
建议采用自适应匹配帧插入方案,以及时停止光流跟踪,并在正确的时间插入匹配帧并检测新功能点,以保持 LK-ORB-SLAM2 运行
2、ORB-SLAM2的工作流程:检测功能点、立体声匹配、功能匹配和运动估计
首先提取特征点。功能检测后是立体声匹配过程。然后,在前一帧中创建的场景点投影到当前帧中,并与当前帧匹配以获得多个功能对应。最后,可以使用通用的 3D-2D 算法计算运动。
3、LK-ORB-SLAM2的工作流程
当 LK-ORB-SLAM2 加载帧时,它将确定帧是否是第一帧。如果是,LK-ORB-SLAM2 将执行初始化:检测帧中的特征点,然后通过立体声匹配获得一些场景点(立体声匹配的方法将在 Sect. 4.2中描述),第一帧将设置为匹配帧。初始化后,使用光流跟踪功能点以获取特征对应。功能点在相机运动期间不断丢失,然后我们建议的匹配帧插入方案将在正确的时间插入匹配帧。(匹配帧插入方案将在第4.4条中描述)。LK-ORB-SLAM2 将检测匹配帧中的功能点,并执行功能匹配以获取功能对应。当获得足够的函数时,可以使用通用的 PnP 算法[3]计算运动(PnP 算法的原则位于参考 [3]的这一节中:3D 到 2-D:来自三维结构和图像特征对应的运动)。
流程图
4、功能提取算法
特征点的性能对视觉气味学有指数级的影响。根据[17],ORB 比 SIFT 效率高得多, 并加快了强大的功能 (SURF)[27]。ORB 基于加速段测试 (FAST)[28]关键点探测器和二进制强健的独立基本功能 (BRIEF)[29]描述符的功能。
ORB 的缺点是特征点的分布相对集中,这不利于在随后的帧中找到这些点。ORB-SLAM2 将图像分成几个矩形块,并从每个矩形块中单独提取要点来解决这个问题。LK-ORB-SLAM2 使用此方法优化 ORB。
5、立体声匹配
功能检测后,将使用立体声匹配算法计算场景点的深度。图3说明了立体声匹配的过程,对于左图像中的蓝色特征点,在右图像的同一行中创建带形搜索区域,该区域中的点匹配候选者。对于右图像中的两个匹配候选者,分别计算其简要描述符,然后分别比较描述距离(有关特征描述符和距离比较的更多信息,请参阅文献[3])。距离较小的点是左图中蓝点的匹配点。
6、光流跟踪
为了解决功能匹配需要太多时间的问题,LK-ORB-SLAM2 使用光流来计算前一帧中的功能点的移动,以便直接在当前帧中查找这些功能点,从而直接获得功能对应。图4显示了光流跟踪的过程,其中发现了两个特征对应。
参考文献:Fast stereo visual odometry based on LK optical flow and ORB-SLAM2