ORB-SLAM学习--词袋模型解析

一、应用场景：

1. place recognition（移动机器人导航中的位置识别，之前去过的位置和大概朝向； 非场景识别）

2. object recognition（和object detection需要检测物体的位置有区别； 用于视频中不同帧图像中的相同物体的检测）

3. loop closure （视觉slam中的，遇到回环后如何判定的问题，与ORB-SLAM息息相关）

二、方法

Bag-of-words 词袋模型    预先阶段：相当于用很多张图像，用算法提炼出图像的N个独有特征，这些每个独立的特征类似于字典中的一个单词（独一无二的）。 实际在线使用阶段：没采集一个图像都转换成用N个特征或单词组成的单词向量，0和1的组合

算法：     离线阶段：人工采集、制作视觉词汇库的阶段。                  （举例：相当于人工制造一个新华字典的阶段，假设字典上从第一个汉字到最后一个汉字共10万个。）

步骤1：离线采集机器人将去的场景，不同角度不同位置不同朝向采集几百张、或几千张、甚至是几万张图像；

步骤2：提取每张图像上的特征，例如SIFT、 SURF、ORB等（特征点加描述子组合）

步骤3：使用词袋模型库DBoW3生成一个视觉词汇库中的各个单词。         

               在线阶段： 机器人配置摄像头在环境中实时行走采集图像的阶段。  （举例：小明使用新华字典  将自己看的一篇作文，用向量形式转成字典中各个词汇出现的结果10万个0或者1，从第一个汉字到最后一个汉字，作文中有某个汉字就在向量相应位置置1，某个汉字作文中未出现，则该位置用0表示。）

三、思想

词袋模型的思想源于科研人员，从谷歌的网页搜索算法中获得灵感。在此之前，文本搜索和识别领域已经成功应用。

较早完整系统实现    

【1】J. Sivic and A. Zisserman, “Video Google: A text retrieval approach to object matching in videos,” in Proc. IEEE Int. Conf. Comput. Vis., Oct.2003, vol. 2, pp. 1470–1477.

在这个video Google之前，Although previous work has borrowed ideas from the text retrieval literature for image retrieval from databases (e.g. [2] used the weighting and inverted file schemes

【2】D.M. Squire, W. M¨uller, H. M¨uller, and T. Pun. Contentbased query of image databases: inspirations from text retrieval. Pattern Recognition Letters, 21:1193–1198, 2000.
【3】D. Nister and H. Stewenius, “Scalable recognition with a vocabulary tree,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2006, vol. 2, pp. 2161–2168.

四、细节资料

高翔《视觉slam十四讲》书中回环检测部分有相关内容介绍。 感觉 tf-idf的公式有点错误或者问题。细节参考 video Google那篇论文中有描述。

五、词袋模型扩展

BOW 原理及代码解析 BOW 原理及代码解析_彼岸花-CSDN博客_bow算法

词袋模型一些理解  词袋模型一些理解_你好哇-CSDN博客_词袋模型

六、官网代码

https://github.com/rmsalinas/DBow3https://github.com/rmsalinas/DBow3