DBOW2

DBoW2

是一个使用fast关键点提取，BRIEF描述子和k-means++训练词典树的模型，特征匹向量匹配过程，图像检索过程

特征点检测

1. 特征点应该满足尺度和旋转不变性
2. 特征点检测除了得出特点外，还需要生成特征点的描述子用于以后的匹配

SIFT-1999年

经典的特征点检测算法，但是速度慢

ORB-2011年

Oriented FAST and Rotation BRIEF，比较快的一个特征点检测新算法

https://zhuanlan.zhihu.com/p/91479558

BOW 词袋

https://zhuanlan.zhihu.com/p/64221963

BOW步骤

1. 准备训练数据，提取特征点
2. 根据特征点进行聚类，获得视觉字典
3. 依然利用特征点，根据视觉字典将训练数据的每个图片用直方图向量化。这么做的原因是sift等特征点都是浅层特征，不利于分类，遍历匹配非常耗时
4. 利用获得训练集的直方图向量训练分类器或使用KNN检索

训练步骤

1. 准备数据集，对所有数据提取特征点
2. 获得特征点之后借助kmeans进行建树。设树的每层聚类的聚心为k，树的深度为d，叶子节点为k^d，也就是字典大小为k^d。由于特征点的重要程度不同，给每个叶子节点分配权值

匹配或检索步骤

1. 根据需求不同，对叶子节点有direct index或inverse index记录

回环

前提知识

1. 共视图 无向加权图，以关键帧为节点，关键帧之间如果有共同观测的地图点则产生边，共同观测的数量就是边的权重。在重定位的时候需要在KeyFrameDatabase中搜索候选关键帧，由于关键帧之间是有重叠视图的，所以在得到匹配的候选关键帧之后，继续把每一个候选关键帧在共视图中的所有“同伙”揪出来，从他们之中重新挑选分数最高的作为最新候选关键帧，同时把他们的分数求和作为新候选帧的分数。——具体图示看连接
2. 共视帧如何获得?
3. 数据库，DBOW和ORB-SLAM各自有一个数据库？
4. sim3？用来解决单目尺度漂移，回环后的工作 参考
5. ransac？在特征匹配过程存在许多误匹配信息，导致位姿精度太低，ransac就是对误匹配特征点进行过滤 参考
6. 局部地图？在地图中插入关键帧，跟踪过包括局部地图跟踪和全局跟踪，
7. 地图点?
8. 投影？
9. 位姿传播？
10. 位姿图优化？
11. BA？
12. EPnP

过程

参考

降频

要求回环间相隔10个帧

计算minscore

计算当前帧与共视帧的相似分数，取当前帧与共视帧间最小的相似度为minscore。数据库中的帧与当前帧多计算，只有大于这个基准才可能是闭环帧

计算maxcommonwords

从数据库中查找闭环候选帧，当然每个候选帧都会与查询帧有一定数量的共同单词，找到共同单词数最多的帧，并以共同单词数最多的0.8倍设定maxcommonwords

通过minscore和maxcommwords初步过滤掉了大部分候选帧

对候选帧分组

将相连的帧分为一组，这样就会将孤立的帧筛选掉。同时在每个组按公式，计算累加得分，找到组间最高分bestAccScore，并以此设定阈值minScoreToRetain = 0.75*bestAccScore筛选

至此剩余组中的就是回环候选帧

连续性检测

好的回环不仅仅是单针对单针的匹配，而是应该多帧对多帧的回环如图

至此我们就得到了若干可靠的候选帧

几何校验

匹配当前帧与闭环帧之间的特征点，利用DBoW加速一下（Direct Index的应用），匹配太少的候选帧直接就干掉了。

计算一个Sim3初值

利用Sim3初值将候选关键帧的地图点再投影到当前帧，得到更多匹配。

然后优化Sim3. 第2-4步是在RANSAC框架下做的，只要有一个帧通过了测试，就跳出去了。这样就选出了一个闭环帧。

把闭环帧的共视关键帧全部取出来，形成了局部地图，把局部地图点再投到当前帧匹配，又形成了更多的匹配。检查一下匹配点的数量来确定是否接受此次闭环。

至此就形成了闭环

Loop fusion

调整关键帧位姿，更新共视图