ORB-SLAM2修改：前后帧特征匹配情况可视化

已于 2023-10-06 15:49:30 修改
阅读量344 收藏 14
点赞数 3
分类专栏： SLAM 文章标签： c++ 人工智能 计算机视觉
于 2023-10-06 15:43:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46190814/article/details/133611083
版权

ORB-SLAM2修改：前后帧特征匹配情况可视化

前言

orb-slam2作为经典的视觉SLAM 算法，网上资料非常多，但最近需要修改orb-slam2实现一个简单的功能，要求能够实现显示前后帧特征点匹配情况的功能，我在中文互联网上并没有找到有帮助的博客，这里将我的修改思路分享给大家供参考。下面链接是我改过的orb-slam2和关键代码文件。

资料分享：https://pan.baidu.com/s/1_bpu-QTOhmJhu3VzldfmUA?pwd=2022 提取码：2022

修改目标与背景知识

修改目标：
修改后能够实现以下功能:

  1. 显示前后两帧两张图片，标记特征点并连线可视化匹配情况
  2. 打印前一帧的特征点数量

背景知识：
需要掌握orb-slam2编译与运行，安装好对应的依赖库，这方面CSDN中有很多相关文章，这里不再赘述。

orb-slam2安装参考博客：
http://t.csdnimg.cn/k6Wgr
http://t.csdnimg.cn/lXDAG
等等等等*

我的实验环境是ubuntu18.04,ros-melodic，跑的TUM数据集。
成功运行orb-slam2后可以得到Map Viewer和Current Frame两个画面，如下图所示，我们的目标就是将Current Frame画面改成能够显示特征匹配情况的matches画面。
orb-slam2运行显示情况

源代码修改

orb-slam2是利用Pangolin库进行可视化显示的，主要是需要修改Viewer.cc和FrameDrawer.cc这两个文件。

Viewer修改

Viewer.cc对Map Viewer和Current Frame进行可视化显示，功能实现主要在void Viewer::Run()这个函数中，其中

cv::Mat im = mpFrameDrawer->DrawFrame();
cv::imshow("ORB-SLAM2: Current Frame",im);

通过这两句代码可知对图片的处理主要在DrawFrame()函数中，因为需要将一张图片改为两张图片，然后显示特征匹配情况，因此笔者在DrawFrame函数中进行两张图片的数据准备，将前一帧图片、当前帧图片、前一帧特征点、当前帧特征点、匹配情况作为DrawFrame函数的返回值，然后利用cv::drawMatches函数进行前后两帧特征点匹配情况的显示。关于利用cv::drawMatches函数进行匹配情况显示这一部分参考高博SLAM十四讲中第七讲。
所以，将上述两句代码改为：

auto results = mpFrameDrawer->DrawFrame();
std::vector<cv::KeyPoint> keypoints_1, keypoints_2;
std::vector<cv::DMatch> matches;
cv::Mat img_1 =  std::get < 0 > (results);
cv::Mat img_2 = std::get < 1 > (results);
keypoints_1 = std::get <2 > (results);
keypoints_2 = std::get < 3 > (results);
matches =  std::get < 4 > (results);
cv::Mat img_match;
cv::drawMatches(img_1, keypoints_1, img_2, keypoints_2, matches, img_match);
cv::imshow("ORB-SLAM2: matches",img_match);

同时，这个文件窗口创建部分代码也需要修改：

//cv::namedWindow("ORB-SLAM2: Current Frame");//修改前
cv::namedWindow("ORB-SLAM2: matches");//修改后

FrameDrawer修改

下一步定位到FrameDrawer.cc文件中，进行DrawFrame()函数的修改。这里主要需要修改两部分，一个是修改DrawFrame()函数使之返回前后两帧图片的图像、特征点以及它们的匹配情况，一个是修改Update(Tracking *pTracker)函数获得前一帧数据与两帧匹配情况。

  1. DrawFrame()函数修改
    此处主要是需要参考当前帧处理方式对前一帧进行处理得到地图点，在图像中绘制好地图点，然后组织好数据进行返回。需要注意的是，前后两帧匹配情况要求的返回值是cv::DMatch格式,而orb-slam2内部匹配函数返回的是数组，需要进行转换。
std::tuple<cv::Mat, cv::Mat, std::vector<cv::KeyPoint>, std::vector<cv::KeyPoint>,  vector<cv::DMatch> > FrameDrawer::DrawFrame()
{
    cv::Mat im,im1,im2;
    vector<cv::KeyPoint> vIniKeys,lastKeys; // Initialization: KeyPoints in reference frame
    vector<int> vMatches; // Initialization: correspondeces with reference keypoints
    vector<cv::KeyPoint> vCurrentKeys; // KeyPoints in current frame
    vector<bool> vbVO, vbMap; // Tracked MapPoints in current frame
    vector<bool> vbVO1, vbMap1; // Tracked MapPoints in reference frame
    int state; // Tracking state
    vector<cv::DMatch>  matchess;
    vector<cv::KeyPoint> nkeys1;
    vector<cv::KeyPoint> nkeys2;
    //Copy variables within scoped mutex
    {
        unique_lock<mutex> lock(mMutex);
        state=mState;
        if(mState==Tracking::SYSTEM_NOT_READY)
            mState=Tracking::NO_IMAGES_YET;
        mIm.copyTo(im);
        mIm.copyTo(im2);
        mIm_r.copyTo(im1);
        if(mState==Tracking::NOT_INITIALIZED)
        {
            vCurrentKeys = mvCurrentKeys;
            vIniKeys = mvIniKeys;
            vMatches = mvIniMatches;
             lastKeys=mvlastkeys;
        }
        else if(mState==Tracking::OK)
        {
            vCurrentKeys = mvCurrentKeys;
            vbVO = mvbVO;
            vbMap = mvbMap;
            vbVO1 = mvbVO1;
            vbMap1 = mvbMap1;
            lastKeys=mvlastkeys;
        }
        else if(mState==Tracking::LOST)
        {
            vCurrentKeys = mvCurrentKeys;
             lastKeys=mvlastkeys;
        }
    } // destroy scoped mutex -> release mutex

    if(im.channels()<3) //this should be always true
       { cvtColor(im,im,CV_GRAY2BGR);
        cvtColor(im1,im1,CV_GRAY2BGR);
        cvtColor(im2,im2,CV_GRAY2BGR);
        }

    //Draw
    if(state==Tracking::NOT_INITIALIZED) //INITIALIZING
    {
        for(unsigned int i=0; i<vMatches.size(); i++)
        {
            if(vMatches[i]>=0)
            {
                cv::line(im,vIniKeys[i].pt,vCurrentKeys[vMatches[i]].pt,
                       cv::Scalar(0,255,0));
            }
        }        
    }
    else if(state==Tracking::OK) //TRACKING
    {
        mnTracked=0;
        mnTrackedVO=0;
        const float r = 5;
        const int n = vCurrentKeys.size();
        
        for(int i=0;i<n;i++)
        {
            if(vbVO[i] || vbMap[i])
            {
                cv::Point2f pt1,pt2;
                pt1.x=vCurrentKeys[i].pt.x-r;
                pt1.y=vCurrentKeys[i].pt.y-r;
                pt2.x=vCurrentKeys[i].pt.x+r;
                pt2.y=vCurrentKeys[i].pt.y+r;

                // This is a match to a MapPoint in the map
                if(vbMap[i])
                {
                    cv::rectangle(im2,pt1,pt2,cv::Scalar(0,255,0));
                   	cv::circle(im2,vCurrentKeys[i].pt,2,cv::Scalar(0,255,0),-1);
                    mnTracked++;
                }
                else // This is match to a "visual odometry" MapPoint created in the last frame
                {
                    cv::rectangle(im2,pt1,pt2,cv::Scalar(255,0,0));
                   	cv::circle(im2,vCurrentKeys[i].pt,2,cv::Scalar(255,0,0),-1);
                    mnTrackedVO++;
                }
            }
        }
        const int n1 =  lastKeys.size();
        for(int i=0;i<n1;i++)
        {
             if(vbVO1[i] || vbMap1[i])
            {
                cv::Point2f pt1,pt2;
                pt1.x=lastKeys[i].pt.x-r;
                pt1.y=lastKeys[i].pt.y-r;
                pt2.x=lastKeys[i].pt.x+r;
                pt2.y=lastKeys[i].pt.y+r;
                
             if(vbMap1[i])
                {
                    cv::rectangle(im1,pt1,pt2,cv::Scalar(0,255,0));
                   	cv::circle(im1,lastKeys[i].pt,2,cv::Scalar(0,255,0),-1);
                }
                else // This is match to a "visual odometry" MapPoint created in the last frame
                {
                   cv::rectangle(im1,pt1,pt2,cv::Scalar(255,0,0));
                   cv::circle(im1,lastKeys[i].pt,2,cv::Scalar(255,0,0),-1);
                }
            }
        }
    }
    //匹配情况格式转换
    for(size_t i1=0, iend=vMatches12.size(); i1<iend;i1++)
    {
            int i2 = vMatches12[i1];
            if (i2<0)
            {
                nkeys1.push_back(lastKeys[i1]);
                continue;
            }
            cv::DMatch mm;
            mm.queryIdx = nkeys1.size();
            mm.trainIdx = i2;
            matchess.push_back(mm);
            nkeys1.push_back(lastKeys[i1]);
            nkeys2.push_back(vCurrentKeys[i2]);
    }
    return std::make_tuple(im1,im2,lastKeys,vCurrentKeys,matchess);
}
  1. Update(Tracking *pTracker)函数修改
    利用orb-slam2内部的匹配函数**matcher.SearchForInitialization()**进行前后帧匹配，并且最后不断将当前帧数据保存成前一帧以便下次更新数据。这里有个问题就是又一次的特征匹配浪费了时间，因此整个修改后的代码用于检查不同场景特征点匹配情况还可以但是实际运行还是改回原来的好一些。
void FrameDrawer::Update(Tracking *pTracker)
{
    unique_lock<mutex> lock(mMutex);
    mIm.copyTo(mIm_r);
    pTracker->mImGray.copyTo(mIm);

    mvCurrentKeys=pTracker->mCurrentFrame.mvKeys;
    mvlastkeys=store_lastframe.mvKeys;
    N = mvCurrentKeys.size();
    N1 = mvlastkeys.size();
    mvbVO = vector<bool>(N,false);
    mvbMap = vector<bool>(N,false);
    mvbVO1 = vector<bool>(N1,false);
    mvbMap1 = vector<bool>(N1,false);
    mbOnlyTracking = pTracker->mbOnlyTracking;


    if(pTracker->mLastProcessedState==Tracking::NOT_INITIALIZED)
    {
        mvIniKeys=pTracker->mInitialFrame.mvKeys;
        mvIniMatches=pTracker->mvIniMatches;
    }
    else if(pTracker->mLastProcessedState==Tracking::OK)
    {
        for(int i=0;i<N1;i++)
        {
            MapPoint* pMP1 = store_lastframe.mvpMapPoints[i];
            if(pMP1)
            {
                if(!store_lastframe.mvbOutlier[i])
                {
                    if(pMP1->Observations()>0)
                        mvbMap1[i]=true;
                    else
                        mvbVO1[i]=true;
                }
            }
        }

        for(int i=0;i<N;i++)
        {
            MapPoint* pMP = pTracker->mCurrentFrame.mvpMapPoints[i];
            if(pMP)
            {
                if(!pTracker->mCurrentFrame.mvbOutlier[i])
                {
                    if(pMP->Observations()>0)
                        mvbMap[i]=true;
                    else
                        mvbVO[i]=true;
                }
            }
        }    
    }
    // Find correspondences
    ORBmatcher matcher(0.6,false);
    vPrevMatched.resize(store_lastframe.mvKeysUn.size());
    for(size_t i=0; i<store_lastframe.mvKeysUn.size(); i++)
        vPrevMatched[i]=store_lastframe.mvKeysUn[i].pt;
    int nmatches = matcher.SearchForInitialization(store_lastframe,pTracker->mCurrentFrame,vPrevMatched,vMatches12,100);
    std::cout <<"points: "<<nmatches << std::endl;
    mState=static_cast<int>(pTracker->mLastProcessedState);
    store_lastframe=pTracker->mCurrentFrame;
    
}

最后FrameDrawer.h也需要修改并添加一些变量：

class FrameDrawer
{
public:
    FrameDrawer(Map* pMap);

    // Update info from the last processed frame.
    void Update(Tracking *pTracker);

    // Draw last processed frame.
    std::tuple<cv::Mat, cv::Mat, std::vector<cv::KeyPoint>, std::vector<cv::KeyPoint>,   vector<cv::DMatch> >  DrawFrame();
protected:
    void DrawTextInfo(cv::Mat &im, int nState, cv::Mat &imText);
    
    // Info of the frame to be drawn
    cv::Mat mIm;
    cv::Mat mIm_r;
    int N,N1;
    vector<cv::KeyPoint> mvCurrentKeys,mvlastkeys;
    vector<bool> mvbMap, mvbVO;
     vector<bool> mvbMap1, mvbVO1;
    Frame store_lastframe;
    bool mbOnlyTracking;
    int mnTracked, mnTrackedVO;
    vector<cv::KeyPoint> mvIniKeys;
    vector<int> mvIniMatches;
    int mState;
    std::vector<cv::Point2f> vPrevMatched;
    std::vector<int> vMatches12;

    Map* mpMap;

    std::mutex mMutex;
};

运行结果

左图为前一帧，右图为当前帧。
运行结果
可能还有些小BUG，欢迎大家批评指正。

独孤西
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
ORB-SLAM2 窗口显示Viewer线程
惊鸿一博
10-04 2194
目录 1.View线程都做了些什么 2.View线程代码 1）View线程创建 2）Run函数代码 3）在地图中画出当前相机位姿 4）绘制地图中当前相机之前的关键帧 5）绘制地图中的MapPoint 6）窗口中显示标注有特征点的图像帧 3.小结 ORB-SLAM2的可视化主要是使用Pangolin这个可视化库来实现的，其中也有用到opencv的接口。所以，其实了解View线程做了哪些事情最好的办法就是照着ORB-SLAM2的运行结果来和代码中的Pangolin接口进行对应。 1.Vie
ORB-SLAM3中的可视化库
11-21
ORB-SLAM3是一个强大的视觉SLAM（Simultaneous Localization And Mapping）系统，它通过处理来自单个相机、双目相机或...而Pangolin作为一个强大的可视化工具，对理解和调试ORB-SLAM3这样的SLAM系统提供了极大的便利。
（二）ORB-SLAM3 中 orb 特征提取匹配部分详解
weixin_62952541的博客
04-24 581
ORBextractor.cc 代码详解（按代码执行顺序分析）
纯C语言 不用 OpenCV 开源库 实现ORB特征提取及匹配 可视化
Morty 的挖坑记录
03-29 3023
参考：画直线https://blog.csdn.net/Bluechalk/article/details/84578197 C语言图像读取及基本操作https://blog.csdn.net/zhangquan2015/article/details/80160864 ORB特征https://blog.csdn.net/qq_32998593/article/details/7922...
使用单目相机前后帧特征点匹配进行3D深度估计的方法
最新发布
u014374826的博客
05-15 874
使用单目相机前后帧特征点匹配进行3D深度估计的方法
简单记录安装ORB-SLAM2过程中对代码的改动
PrideQ的博客
09-15 362
因为重新安装了ubuntu20.04，opencv也使用的是4.1的版本，而ORB的作者使用的是3.0，所以会碰到一些问题，将安装过程中在网上找到的解决方案总结一下，记录在此。
ORB_SLAM2+realsense运行稠密建图
echo_gou的博客
03-09 1216
即：然后 chmod +x build.sh 和 chmod +x build_ros.sh 赋予执行权限然后编译： ./build.sh然后： build_ros.sh如果报错：在对应(xxx/Examples/ROS/ORB_SLAM2)CMakeLists中加入以下：
ROS配置ORB_SLAM2
weixin_43828675的博客
03-29 2549
准备工作 ORB_SLAM2/ROS的安装，具体安装流程博主之前写过，读者可以自行阅读。   添加环境变量 cd ~ gedit .bashrc export ROS_PACKAGE_PATH=${ROS_PACKAGE_PATH}:PATH/ORB_SLAM2/Examples/ROS 其中PATH为ORB_SLAM2的安装路径   编译ROS文件 cd ORB_SLAM2的目录下 chmod +x build_ros.sh ./build_ros.sh   安装摄像头驱动功能包 编译usb_ca
ORB-SLAM2源码详解
04-25
ORB-SLAM2首先在输入图像中检测ORB特征点，然后通过匹配前一帧的特征点到当前帧来估计相机的运动。匹配成功后，会计算一个初始的粗略姿态，接着使用RANSAC（Random Sample Consensus）去除错误匹配，得到精确的运动...
ORB_SLAM2_detailed_comments:带有故障排除，关键公式推导和图表的ORB-SLAM2的详细注释
03-19
可视化结果分析第02讲-SLAM系统构造函数，特征点图像金字塔，构造灰度质心圆第03讲-ORB特征提取构造函数/仿函数，图像帧构造函数，计算图像金字塔并进行扩展第04讲-提取ORB特征点，四叉树实现均匀化分布第05讲-利用...
基于ORB-SLAM的移动机器人嵌入式实现与优化
10-16
ORB-SLAM（基于ORB特征识别的同时定位与地图构建系统）是一种广泛使用的SLAM（Simultaneous Localization And Mapping）算法，它依赖于ORB特征进行图像匹配和三维空间重建。然而，原版ORB-SLAM的代码并不适合在资源...
ubuntu安装orb-slam2必要资源包
12-03
ORB-SLAM2依赖OpenCV来实现图像预处理、特征检测与匹配、相机标定等功能。安装OpenCV 3.4.12，可以按照以下步骤进行： ```bash sudo apt-get update sudo apt-get install -y build-essential cmake git libgtk2.0-...
ORB-SLAM2学习笔记（ORB特征点）
wangbuhu的博客
06-15 588
ORB
ORB-SLAM2源码分析(单目)——特征点提取
weixin_43391596的博客
03-21 368
ORB-SLAM2源码分析(单目)——特征点提取
机器视觉特征提取介绍：HOG、SIFT、SURF、ORB、LBP、HAAR
热门推荐
yuanlulu的博客
08-28 4万+
一. 概述 这里主要记录自己的一些感悟，不是很系统。想要详细系统的理论，请参考文末的《图像处理之特征提取》。 个人不是专业cv工程师，很多细节没有深究，描述可能不严谨。 在总结物体检测算法之前先把基础的特征点理论整理一下。 二. HOG 求取前先灰度化然后Gamma校正，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰。 HOG主要捕获轮廓信息。统计每个cell的梯...
图像特征之ORB特征详解
sky的博客
07-07 7805
１　特征点 特征点是图像中一些特别的地方。一般而言，人工设计的特征点（比如SIFT、SURF、ORB等）都具有如下的性质： 可重复性：即相同的“区域“可以在不同的图像中找到（比如将特征点比作一只猫，在图一和图二中都能找到这只猫）。 可区别性：即不同的”区域“有不同的表达。 高效率：在同一副图像中，特征点的数量应该远小于像素的数量。 本地性：特征仅与一小片图像区域相关。 特征点由关键点和描述子两部分组成。 关键点通常是指该特征点在图像中的位置，有的特征点还具有朝向、大小等信息。描述子通常是一个向
47.Isaac教程--ORB
专注于人工智能领域的小何尚
01-30 597
ISAAC教程合集地址: https://blog.csdn.net/kunhe0512/category_12163211.html功能用于以下应用程序：使用运动结构的 3D 重建视觉里程计（运动跟踪）和 SLAM基于内容的图像检索图像对齐和全景拼接“ORB”代表“Oriented FAST and rotated BRIEF”。 这表明 ORB 基于特征检测器 FAST 和二进制描述符 BRIEF。Rublee 等人的原始出版物，标题为“ORB：SIFT 或 SURF 的有效替代品”，可在此处找到：h
ORB-SLAM2系列第五章—— 特征匹配
weixin_45947476的博客
04-06 5436
系列文章目录 ORB-SLAM2系列第一章——简介 ORB-SLAM2系列第二章——ORB 特征点提取 ORB-SLAM2系列第三章—— 地图初始化 ORB-SLAM2系列第四章—— 地图点、关键帧、图结构 文章目录系列文章目录前言一、单目初始化中的特征匹配二、通过视觉词袋进行特征匹配1.直观理解词袋2.为什么要研究BoW？3.如何制作、生成BoW？总结 前言 迎浏览我的SLAM专栏，包括slam安装运行、代码注释、原理详解，一起加油淦穿SLAM。 一、单目初始化中的特征匹配 初始化搜索匹配，对应函数
orb-slam2 windows
01-17
ORB-SLAM2是一种在Windows操作系统上运行的开源视觉SLAM（Simultaneous localization and mapping，同时定位与地图构建）系统。它基于特征提取与匹配技术，结合了SLAM和单目相机定位的能力，可以实现在无GPS的环境下实时定位和构建地图。 ORB-SLAM2的运行需要满足一些硬件和软件要求。硬件方面，需要搭配一台带有至少一个USB3.0接口的Windows计算机，搭载有英伟达的显卡（如GTX 660M及以上）以加速ORB-SLAM2的运算。软件方面，需要安装与配置相应的依赖项，如OpenCV、Eigen库、Pangolin库等。此外，ORB-SLAM2还依赖于一台摄像机，用于获取场景的连续图像。 安装ORB-SLAM2可以通过参考官方文档提供的步骤来进行。首先，我们需要从GitHub上获取ORB-SLAM2的源代码，并将其通过CMake和Visual Studio编译生成可执行文件。然后，我们需要准备一个合适的数据集，例如TUM/MH_01_easy数据集，用于系统的初始化和地图构建。最后，运行编译生成的可执行文件，ORB-SLAM2会使用摄像机捕获的图像进行实时定位和地图构建。 使用ORB-SLAM2的过程中，可以通过调整一些参数来优化系统的性能和精度，例如特征提取器和描述子的配置、回环检测的开启与关闭等。此外，ORB-SLAM2还提供了可视化界面，可以实时显示定位和地图构建的结果，方便我们观察和分析SLAM系统的性能。 总之，ORB-SLAM2是一款适用于Windows操作系统的开源视觉SLAM系统，通过特征提取与匹配技术实现实时定位和地图构建。它具有较好的性能和精度，并且提供了详细的安装和配置文档，方便用户在Windows平台上使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

独孤西

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值