SLAM学习笔记4: ORB-SLAM中BOW特征匹配

最新推荐文章于 2024-08-23 16:37:45 发布
最新推荐文章于 2024-08-23 16:37:45 发布
阅读量1w 收藏 22
点赞数 10
分类专栏： 学习笔记 SLAM 文章标签： SLAM 算法 机器人 CV 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qinruiyan/article/details/51042341
版权

通常估计两帧之间的运动, 我们需要分别计算两帧中的所有特征点, 然后计算特征点之间的匹配关系. 再通过对应特征点的移动情况来估计两帧之间的摄像机运动.

这中间会涉及好很多问题, 至今未能得到有效解决:

  1. 提取特征点的类型: 众所周知, 对于自然场景图像, SIFT和SURF特征点具有非常好的特性, 充分考虑了尺度, 光照, 旋转等因素的影响. 然而SIFT, SURF特征的计算非常耗时, 很难满足实时应用的需要. 于是我们只能转而使用质量较差但计算较为简单的图像特征点, 如FAST, ORB等.
  2. 特征点匹配的问题: 在确定特征点位置后, 我们可以计算这个特征点的descriptor. 然后在两帧之间两两对比descriptor, 当descriptor之间的distance低于某个阈值时, 便认为这两个特征是同一个点. 然而这里存在两个问题:
    (1) 到底distance阈值应该设为多少, 大多凭实验经验获得, 并没有什么理论依据.
    (2) 特征点之间两两比对, 计算量非常大. 而且其实有很多比对是不需要的. 目前的解决方案主要是假设两帧之间的相对运动不大, 于是可以在第一帧的特征点位置附近来搜索对应特征即可. 但是即使如此, 计算量还是难以满足实时需要. 所以在ORB-SLAM中, 还有很多其它的工程上的优化被考虑进去.

刚开始接触ORB的时候, 误解了作者对bow模块的使用, 还以为bow只是简单地用于loop closure detection, 后面仔细查看代码后发现并没有那么简单.

在作者使用的Bag of Word词典中, 词典是一个事先训练好的分类树, 而BOW特征有两种:
1. BowVector: 即是分类树中leaf的数值与权重
2. FeatureVector: 是分类树中leaf的id值与对应输入ORB特征列表的特征序号.

ORB SLAM中, 在利用帧间所有特征点比对初始化地图点以后, 后面的帧间比对都采用Feature vector.进行, 而不再利用所有特征点的descriptor两两比对. 这样做的好处当然是加快了处理速度, 但是信息再次被压缩抽象化, 不可避免会造成性能降低. 然而根据作者在之前的文章[1]及github上的描述, 对一幅图片的BOW特征抽取可以在5ms以内完成, 而在19000张图片构成的database中, 图片搜索可以在10ms内完成, 且保证False Positive为0. 具体的实验我没有进行验证, Whatever, ORB-SLAM证明了这样处理是有效的, 至少在数据集上, 及速度较慢的应用上, 可以实现令人满意的精度.

其实处理非常简单, 在已经获得图像特征点集合的基础上, 再根据词典, 对每个特征做一次分类. 再对第二幅图像提取特征, 然后也根据词典, 也对这幅图像的所有特征进行分类. 用分类后的特征类别代替原本的特征descriptor, 即用一个数字代替一个向量进行比对, 显然速度可以大大提升.

这一方案在ORB SLAM整个project中被大量应用, 除了初始化时, 因为需要较准确的地图点及初始位姿估计, 而采用descriptor进行暴力比对. 后面的在SearchForTriangulation, SearchByBoW的过程中, 都是直接使用Feature vector作为特征的值的. 在实际应用中发现效果十分不错.

然而这一种方法有一个最恼人的问题就是, 每次在初始化系统的时候必须载入一个100多m的词典库, 在我的android orb下测试, 这个载入的过程长达2分钟以上.
当前使用的词典是使用K-Nearest-Neighbor算法生成的分类树, 学过机器学习的童鞋都知道, 这是一种instance based的聚类算法, 分类速度快, 但是所需存储空间大. 所以如果使用其它的聚类算法生成分类器, 不知是否还能达到real time的需求.
另外, 是否可以通过一些online learning的方法进行词典学习, 或者把特征descriptor转为二进制表达, 加速运算. 这些都是待考究的问题.

[1]Gálvez-López, Dorian, and Juan D. Tardos. “Bags of binary words for fast place recognition in image sequences.” Robotics, IEEE Transactions on 28.5 (2012): 1188-1197.

Qinrui_Yan
关注
专栏目录
SLAM面试笔记(2) - ORB-SLAM2
几度春风里的博客
04-20 1062
ORB-SLAM2知识点和面试汇总，持续更新！
SLAM ORB-SLAM2（26）重定位过程
氢键H-H
05-31 8064
先介绍了词袋模型的基本思想，然后介绍了重定位的详细过程：1. 计算当前帧特征点的词袋向量；2. 根据用词袋查找相似的候选关键帧；3. 通过词袋模型进行初步匹配；4. 查询较匹配的关键帧（通过PnP投影估计姿态>对内点进行BA优化位姿>不够数就通过投影方式寻找更多匹配点>找到较匹配的关键帧）
ORB_SLAM2_Android, 在Android中，一个 ORB_SLAM2.zip
09-18
ORB_SLAM2_Android, 在Android中，一个 ORB_SLAM2 这里项目的为这个项目是基于Raul的mur artal项目的ORB_SLAM2版本的Android版本： ORB_SLAM2 。作者：英镑如果有人想只对它进行一次测试，请按以下步骤操作： ORB_SLAM2_Android_APK
SLAM BOW介绍
u010451780的专栏
12-03 379
https://www.cnblogs.com/zjiaxing/p/5548265.html 在目前实际的视觉SLAM中，闭环检测多采用DBOW2模型https://github.com/dorian3d/DBoW2，而bagofwords又运用了数据挖掘的K-means聚类算法，笔者只通过bagofwords模型用在图像处理中进行形象讲解，并没有涉及太多对SLAM的闭环检测的应用。 1.Bag-of-words模型简介 Bag-of-words模型是信息检索领域常用的文档表示方法。在信...
本质矩阵(E)的奇异值分解（SVD）得到(R,T)
最新发布
qq_50719698的博客
08-23 1130
WWW本质矩阵（Essential Matrix）是描述两台相机之间的相对运动的 3x3 矩阵，包含了相机之间的旋转和平移信息。它是对极几何中的核心概念，连接了两幅图像中对应点的几何关系。x2TEx10x2​TEx1​0x1x1​和x2x2​分别是归一化后的图像坐标点。
SLAM学习笔记——BOW
sylin211的博客
03-30 725
基本思路 使用聚类算法对数据集图像的特征点描述子进行分类，得到类别a1、a2、a3……，称这些类别为“word”，不分顺序，故为“bag”，而非“list”。 将新图像的特征点描述子与数据集进行匹配，看它含有多少个word，并且对这些word加权重，得到一个包含多个word及对应权重的向量v。 对比不同图像的词向量v，利用相似度评价方法，确定两个图像的相似程度。 简言之，分类-匹配-比较词袋的构建和
(01)ORB-SLAM2源码无死角解析-(30) ORB特征匹配→词袋BoW(bag of words):简介,优劣势分析
江南才尽江南山，年少无知年少狂！
05-20 1540
在上一篇博客中，对两张图像特征匹配进行了讲解，但是其匹配的过程默认所有特征点权重都是一样的，但是现实生活中，有的关键点是十分常见的，也就是说其辨识度是比较底的，但是有的特征点是非常罕见的，也就是就该特征点辨识度高，更具独特性。那么就来说说为什么要通过词袋(BoW)进行特征匹配。通过该篇博客，了解了词袋BoW(bag of words) 基本概念，以及其离线训练与构建结构。以及 BoW 为什么使用 BRIEF 描述子。当然，这些都是理论的知识，接下来就是对代码的讲解了。
[学习SLAM] ORB-SLAM中BOW特征匹配
开源节流
10-16 2792
ORB-SLAM中BOW特征匹配 通常估计两帧之间的运动, 我们需要分别计算两帧中的所有特征点, 然后计算特征点之间的匹配关系. 再通过对应特征点的移动情况来估计两帧之间的摄像机运动. 这中间会涉及好很多问题, 至今未能得到有效解决: 提取特征点的类型: 众所周知, 对于自然场景图像, SIFT和SURF特征点具有非常好的特性, 充分考虑了尺度, 光照, 旋转等因素的影...
《ORB-SLAM2源码解析》学习手册v1.0-对外.pdf
07-08
特征匹配是SLAM中的一个重要环节，手册对单目初始化中的特征匹配和通过视觉词袋（BoW）进行特征匹配进行了讨论。BoW的概念、词袋法的制作、生成BoW的过程以及词典树的保存和加载等细节均有涵盖。 跟踪线程是ORB-...
ORB-SLAM2源码逐行解析系列（十三）：ORB-SLAM2特征匹配之基于词袋的特征匹配
LDST_CSDN的博客
05-16 786
词袋（Bag of Words, BoW）最早用于自然语言领域，其中Words表示文本中的单词。在视觉SLAM中，Words表示图像中的局部信息，如特征点。需要注意是的，在词袋中的单词是没有顺序的，只关心单词出现的次数。这样既简化了词袋模型的表达方式，又节省了存储空间，可实现高效索引。​ 词袋模型的使用​ **注意：**在实际使用时，如无特殊要求，通常使用已训练好的字典，调用第三方库加载字典，将特征点转换为特征向量和词袋向量，无需手动实现这一操作。
很清晰的ORB-SLAM2程序思维导图
10-13
4. **特征点匹配**：使用`ORBmatcher::SearchForInitialization()`函数来匹配初始帧与当前帧之间的特征点。 5. **地图初始化**：通过`Initializer::Initialize()`和`Tracking::CreateInitialMapMonocular()`完成地图...
基于ORB-SLAM2的Android上的AR：这是一个基于ORB-SLAM2和OpenGL的Android增强现实APP，可以在室外和室内环境下正常工作
02-04
Android上基于ORB-SLAM2的AR 介绍 这是一个基于和OpenGL的Android增强现实APP。 演示视频可以在下面的链接中找到。 演示视频 依赖关系，安装和使用 要运行此APP，您需要将./SLAM文件夹复制到您的手机中，其中包含词汇表文件（ORBvoc.bin）和相机校准文件（mi6.yaml）。 然后，您需要更改./app/src/main/cpp/native-lib.cpp中的第20行，以配置手机中的正确路径。 您可能还需要校准手机的摄像头以获得更好的性能。 相机校准的更多详细信息可以在Google上找到。 ORB_SLAM2::System SLAM ( " /s
ORB_SLAM2在Android上的移植过程-附件资源
03-02
ORB_SLAM2在Android上的移植过程-附件资源
基于BOW(词袋)的暴力匹配算法中的极线约束
Michael的博客
12-21 260
极线约束描述的是当同一个点投影到两个不同视角的图像上时，像点、相机光心在投影模型下形成的约束。这些术语都是人为定义的，方便业内人士交流而已。如果世界点P(未知)在image。换句话说，P2e2是P1的极线，P1e1是P2的极线。这就是极线约束，可以缩小特征点匹配时搜索范围。被称为极平面，极平面与像平面image。被称为基线，基线与像平面image。已知)，那么世界点P在image。如图所示， 两个相机光心连线为。
ORB_SLAM2_Android
weixin_30600503的博客
08-17 229
链接：https://github.com/FangGet/ORB_SLAM2_Android README.md 说明文件 This Project is out of date 该工程过时了 This project is an Android version for ORB_SLAM2 based on Raul Mur-Artal's opensource project:...
ORB_SLAM2在Android上的移植过程
热门推荐
zf19921020的专栏
04-15 1万+
作者：Frank 转载请注明出处一直没时间写博客，最近抽时间写了些关于在ORB_SLAM2在Android上的移植过程，也算是点经验吧。写完后一个手贱点了个链接，瞬间1/3工作量没了，深夜弄完也是醉了。。。正文开始这篇博客讲述如何在Android平台上移植ORB_SLAM2，讲述过程包括基本的Android环境的搭建和NDK环境的配置，Android下移植的基本概念，ORB的具体移植步骤等。And
SLAM：ORB-SLAM 位姿优化描述
alppkk4545的博客
08-05 707
只知道算法描述和代码，而不知道原理是比较扯的事情，还是把原理转载一下。 原文链接： http://www.cnblogs.com/luyb/p/5447497.html ORB-SLAM作为单目SLAM，其精度很大程度上决定于帧与帧之间的位姿优化的是否准确。因此优化（optimization）在OR...
ORB_SLAM2在Android上的移植过程 (Android Studio 2.2+OpenCV 3.2+Cmake)
Martin的博客
02-08 9430
项目地址 链接：https://pan.baidu.com/s/1c4i2GE0 密码：u2ih 相关问题 仅供学习与交流之用，因滥用造成的任何后果与作者无关。 项目中APK和源码可以在Meizu MX2（见下图），Nox模拟器上正常运行，Android M及以上请检查相机和SD卡权限，不回复任何关于某些设备无法运行的留言或邮件，请谅解。 准备工作 配置Android Studio 2...
AS上利用NDK——CMake方法移植ORB SLAM算法到Android
忠烈的博客
11-09 4319
将要移植的ORB SLAM算法是一种基于Eigen/ g2o/ DBoW2/ OpenCV外部库，在VS上通过C++11编写的算法。 难点将包括以下3部分: 1、Eigen/ g2o/ DBoW2等外部库的移植； 2、.jpg/ .yaml/ .txt等初始化读取； 3、C++算法程序为适应Jni进行的改写。
ORB-SLAM特征匹配算法
12-14
ORB-SLAM是一种基于特征点的视觉SLAM算法，它使用ORB特征点来进行特征匹配。ORB特征点是一种既能够快速检测又能够准确描述图像特征的算法。ORB特征点的检测和描述分别使用了FAST角点检测算法和BRIEF描述子算法。ORB-SLAM使用了基于词袋模型的方法来进行特征匹配，具体来说，ORB-SLAM将所有的ORB特征点分成若干个不同的视觉词汇，然后使用BoW（Bag of Words）模型来描述每个图像。在ORB-SLAM中，特征匹配主要分为两个步骤：词袋匹配和光流法匹配。词袋匹配是通过计算两个图像的词袋向量之间的距离来进行的，而光流法匹配则是通过计算两个图像中的特征点在相邻帧之间的运动来进行的。 以下是一个ORB-SLAM特征匹配算法的示例代码： ```c++ // ORB特征点检测和描述 cv::Ptr<cv::ORB> orb = cv::ORB::create(); std::vector<cv::KeyPoint> keypoints1, keypoints2; cv::Mat descriptors1, descriptors2; orb->detectAndCompute(img1, cv::noArray(), keypoints1, descriptors1); orb->detectAndCompute(img2, cv::noArray(), keypoints2, descriptors2); // 词袋匹配 cv::Ptr<cv::DescriptorMatcher> matcher = cv::DescriptorMatcher::create("BruteForce-Hamming"); std::vector<cv::DMatch> matches; matcher->match(descriptors1, descriptors2, matches); // 光流法匹配 std::vector<cv::Point2f> points1, points2; for (auto match : matches) { points1.push_back(keypoints1[match.queryIdx].pt); points2.push_back(keypoints2[match.trainIdx].pt); } std::vector<uchar> status; std::vector<float> err; cv::calcOpticalFlowPyrLK(img1, img2, points1, points2, status, err); // 输出匹配结果 for (int i = 0; i < matches.size(); i++) { if (status[i]) { cv::DMatch match = matches[i]; cv::Point2f pt1 = keypoints1[match.queryIdx].pt; cv::Point2f pt2 = keypoints2[match.trainIdx].pt; std::cout << "Match " << i << ": (" << pt1.x << ", " << pt1.y << ") -> (" << pt2.x << ", " << pt2.y << ")" << std::endl; } } ```
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值