【论文系列】ICRA2018--闭环中的Visual Words--Assigning Visual Words to Places for Loop Closure Detection及论文复现

未经博主允许，不得转载

||写在前面：读论文读的是什么，zack师兄说，读论文读的就是关系，文章大结构之间内容的关系，小结构之间段落的关系，作者为什么要这么写，其中的逻辑是什么。作者的思路决定内容，你需要在内容中读出思路。同时读文章时，能借一些作者的关系的理解更好地建立自己的知识网络（尤其在introduction 和related works）。另外读文章中大家普遍一致清楚的就是读idea，从他人的论文的idea里，有没有给你一些启发。

 

• Assigning Visual Words to Places for Loop Closure Detection 本文发表在ICRA2018，作者是几位来自希腊的博士。这里将和读者们一起，进行全文的阅读和深入理解，打印好paper一起食用更佳！
• 本文的一个重要环节，GNG网络，可见新博文 论文延伸阅读——GNG：Growing Neural Gas Network  ，会有一个大概的思路梳理和算法的对照翻译。之后会放上代码。
• 论文代码已复现，有兴趣可以交流 

  ---

  目录

  Abstract

  Introduction

  Related Work

  METHODOLOGY

  3.1 生成place

  3.2 VW表示place

  3.3 闭环place查询/candidate 确定

  3.4 闭环确定

  EXPERIMENTAL EVALUATION

  CONCLUSION

  算法复现细节技术： 

  1.最邻近搜索

  2. Vote scheme

  3.概率得分确定候选闭环seq

  4. GNG

  ---

   

  ---

---

Abstract

我们先来读读摘要，最重要的部分，这里给出一下原文

Abstract—Place recognition of pre-visited areas, widely known as Loop Closure Detection (LCD), constitutes one of the most important components in robotic applications, where the robot needs to estimate its pose while navigating through the field (e.g., simultaneous localization and mapping). In this paper, we present a novel approach for LCD based on the assignment of Visual Words (VWs) to particular places of the traversed path. The system operates in real time and does not require any pre-training procedure, such as visual vocabulary construction or descriptor-space dimensionality reduction. A place is defined through a dynamic segmentation of the incoming image stream and is assigned with VWs through the usage of an on-line clustering algorithm. At query time, image descriptors are converted into VWs on the map accumulating votes to the corresponding places. By means of a probability function, the mechanism is capable of identifying a loop closing candidate place. A nearest neighbor voting scheme on the descriptors’ space allows the system to select the mostappropriate image match at the chosen place. Geometrical and temporal consistency checks are applied on the proposed loop closing pair increasing the system’s performance. Evaluation took place on several publicly available and challenging datasets offering high precision and recall scres as compared to other state-of-the-art approaches.

-------------------------------------------------------------------------

ok，从摘要我们可以知道，作者提出了一个新闭环方法，实时、不需要视觉词典的预训练、不需要描述子降维、有着不错的高精度和高召回表现。

这个方法主要是用视觉词汇做闭环，看起来不觉得多大创新，继续看。方法主要就是将视觉词汇VWs分配到所走过路径中特定的位置来实现的。关于place，是通过输入流照片的动态分割得到的，并且VWs通过在线聚类之后，每个place都与VWs聚类后的一些结果相关联。在寻找闭环的时候，图像的描述子会转换成VWs，并且对这个VMs对应的地点累加投票。闭环候选利用概率函数得到，闭环匹配利用最邻近投票得到。 文中还利用率时空一致性检验来提高系统效率。

---

Introduction

机器人漂移很常见----常见的原因----漂移的损害----需要准确的位姿估计（需要SLAM）----SLAM与视觉--LCD解决/减轻的漂移问题。引出LCD。

视觉的丰富信息可以被处理----先处理，那就检测一下关键点（SIFT SURF ORB BRISK）。----特征聚类，使得描述子成视觉词汇（引出视觉词汇了）----视觉词汇不得不提的BoW--BoW model的分类：offline / online（offline：k-means，当输入图像进入pipeline时，利用tf/idf得到与Visual Vocabulary同等大小的直方图）----利用直方图做匹配（当前place[可能是闭环]的对应的VM‘s histograms与database的histograms相比较，得到最合适匹配）。--以上是离散化的方法（特征离散化详情可以参考blog https://blog.csdn.net/u010159842/article/details/78799600）----引出作者的方法voting technology（在降维的描述符空间利用vote的聚合密度）。

作者选用方法类别都引出了，就开始介绍本文方法了：                                                                             

1. 本文展现的是一个image to sequence的闭环策略。在在线生成的视觉词上利用vote机制，并且和概率函数方法相耦合。
2. 把输入的照片流的动态序列分割，形成了一个个的place
3. 不断累加的局部特征描述子利用Growing Nerual Gas(GNG)聚类，生成与描述子相应的VW。Growing Nerual Gas论文见下http://pdfs.semanticscholar.org/30f0/80dc62c24ac423854a0c0af8baf02bcaae66.pdf
4. 当寻找查询图像（query images）的闭环，提取出来的描述子，（如下图箭头所指向的绿色圈圈）会给数据库中的序列图像中包括它们最相邻的图像的序列 vote(图中黑色的箭头)。  。
5. 系统用一个二项式概率密度（binomial probability density）寻找合适的image to sequence候选序列，在利用描述子的最邻近找到image to image的匹配。
6. 在query image和candidate image之间做时空一致性和几何一致性检验，得到一个更高维