SLAM学习笔记二—ORB特征点

最新推荐文章于 2024-10-10 16:32:30 发布

hanshihao1336295654

最新推荐文章于 2024-10-10 16:32:30 发布

阅读量2k

点赞数 3

分类专栏： SLAM

本文链接：https://blog.csdn.net/hanshihao1336295654/article/details/82737273

版权

SLAM 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

参考高博士的书，ORB改进FAST的方面：

1，区域：非极大值抑制（non_maximal supression）

2, 数量：计算harries响应值，取前n个

3，尺度不变性：pyramid

4，旋转不变形：灰度质心法

5，brief描述子

opencv中的ORB类是一个纯虚类，继承于Feature2D类，无法进行实例化创建对象。提供静态成员函数ORB::create()供调用。

static Ptr< ORB >   create (int nfeatures=500, float scaleFactor=1.2f, 
int nlevels=8, int edgeThreshold=31, int firstLevel=0, int WTA_K=2, 
int scoreType=ORB::HARRIS_SCORE, int patchSize=31, int fastThreshold=20)

下面介绍一下各个参数的含义：

nfeatures - 最多提取的特征点的数量；

scaleFactor - 金字塔图像之间的尺度参数，类似于SIFT中的；

nlevels – 高斯金字塔的层数；

edgeThreshold – 边缘阈值，这个值主要是根据后面的patchSize来定的，靠近边缘edgeThreshold以内的像素是不检测特征点的。

firstLevel - 看过SIFT都知道，我们可以指定第一层的索引值，这里默认为0。

WET_K - 用于产生BIREF描述子的点对的个数，一般为2个，也可以设置为3个或4个，那么这时候描述子之间的距离计算就不能用汉明距离了，而是应该用一个变种。OpenCV中，如果设置WET_K = 2，则选用点对就只有2个点，匹配的时候距离参数选择NORM_HAMMING，如果WET_K设置为3或4，则BIREF描述子会选择3个或4个点，那么后面匹配的时候应该选择的距离参数为NORM_HAMMING2。

scoreType - 用于对特征点进行排序的算法，你可以选择HARRIS_SCORE，也可以选择FAST_SCORE，但是它也只是比前者快一点点而已。

patchSize – 用于计算BIREF描述子的特征点邻域大小。

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <opencv2/highgui/highgui.hpp>

using namespace std;
using namespace cv;

int main(int argc, char** argv)
{

    if(argc!=3)//判断命令行输入对错
    {
        cout<<"usage: feature_extraction img1 img2"<<endl;
        return 1;
    }

    //读取要匹配的两张图像
    Mat img_1 = imread("路径");
    Mat img_2 = imread(“路径”);

    //首先创建两个关键点数组，用于存放两张图像的关键点，数组元素是KeyPoint类型
    std::vector<KeyPoint> keypoints_1, keypoints_2;

    //创建两张图像的描述子
    Mat descriptors_1, descriptors_2;

    //创建一个ORB类型指针orb，ORB类是继承自Feature2D类
    //class CV_EXPORTS_W ORB : public Feature2D
    //这里看一下create()源码：参数较多，不介绍。
    //creat()方法所有参数都有默认值，返回static　Ptr<ORB>类型。
    /*
    CV_WRAP static Ptr<ORB> create(int nfeatures=500,
                                   float scaleFactor=1.2f,
                                   int nlevels=8,
                                   int edgeThreshold=31,
                                   int firstLevel=0,
                                   int WTA_K=2,
                                   int scoreType=ORB::HARRIS_SCORE,
                                   int patchSize=31,
                                   int fastThreshold=20);
    */
    //所以这里的语句就是创建一个Ptr<ORB>类型的orb，用于接收ORB类中create()函数的返回值
    Ptr<ORB> orb = ORB::create();


    //第一步：检测Oriented FAST角点位置.
    //detect是Feature2D中的方法，orb是子类指针，可以调用
    //看一下detect()方法的原型参数：需要检测的图像，关键点数组，第三个参数为默认值
    /*
    CV_WRAP virtual void detect( InputArray image,
                                 CV_OUT std::vector<KeyPoint>& keypoints,
                                 InputArray mask=noArray() );
    */
    orb->detect(img_1, keypoints_1);
    orb->detect(img_2, keypoints_2);


    //第二步：根据角点位置计算BRIEF描述子
    //compute是Feature2D中的方法，orb是子类指针，可以调用
    //看一下compute()原型参数：图像，图像的关键点数组，Mat类型的描述子
    /*
    CV_WRAP virtual void compute( InputArray image,
                                  CV_OUT CV_IN_OUT std::vector<KeyPoint>& keypoints,
                                  OutputArray descriptors );
    */
    orb->compute(img_1, keypoints_1, descriptors_1);
    orb->compute(img_2, keypoints_2, descriptors_2);

    //定义输出检测特征点的图片。
    Mat outimg1;
    //drawKeypoints()函数原型参数：原图，原图关键点，带有关键点的输出图像，后面两个为默认值
    /*
    CV_EXPORTS_W void drawKeypoints( InputArray image,
                                     const std::vector<KeyPoint>& keypoints,
                                     InputOutputArray outImage,
                                     const Scalar& color=Scalar::all(-1),
                                     int flags=DrawMatchesFlags::DEFAULT );
    */
    //注意看，这里并没有用到描述子，描述子的作用是用于后面的关键点筛选。
    drawKeypoints(img_1, keypoints_1, outimg1, Scalar::all(-1), DrawMatchesFlags::DEFAULT);

    imshow("ORB特征点",outimg1);


    //第三步：对两幅图像中的BRIEF描述子进行匹配，使用 Hamming 距离

    //创建一个匹配点数组，用于承接匹配出的DMatch，其实叫match_points_array更为贴切。matches类型为数组，元素类型为DMatch
    vector<DMatch> matches;

    //创建一个BFMatcher匹配器，BFMatcher类构造函数如下：两个参数都有默认值，但是第一个距离类型下面使用的并不是默认值，而是汉明距离
    //CV_WRAP BFMatcher( int normType=NORM_L2, bool crossCheck=false );
    BFMatcher matcher (NORM_HAMMING);

    //调用matcher的match方法进行匹配,这里用到了描述子，没有用关键点。
    //匹配出来的结果写入上方定义的matches[]数组中
    matcher.match(descriptors_1, descriptors_2, matches);

    //第四步：遍历matches[]数组，找出匹配点的最大距离和最小距离，用于后面的匹配点筛选。
    //这里的距离是上方求出的汉明距离数组，汉明距离表征了两个匹配的相似程度，所以也就找出了最相似和最不相似的两组点之间的距离。
    double min_dist=0, max_dist=0;//定义距离

    for (int i = 0; i < descriptors_1.rows; ++i)//遍历
    {
        double dist = matches[i].distance;
        if(dist<min_dist) min_dist = dist;
        if(dist>max_dist) max_dist = dist;
    }

    printf("Max dist: %f\n", max_dist);
    printf("Min dist: %f\n", min_dist);

    //第五步：根据最小距离，对匹配点进行筛选，
    //当描述自之间的距离大于两倍的min_dist，即认为匹配有误，舍弃掉。
    //但是有时最小距离非常小，比如趋近于0了，所以这样就会导致min_dist到2*min_dist之间没有几个匹配。
    // 所以，在2*min_dist小于30的时候，就取30当上限值，小于30即可，不用2*min_dist这个值了
    std::vector<DMatch> good_matches;
    for (int j = 0; j < descriptors_1.rows; ++j)
    {
        if (matches[j].distance <= max(2*min_dist, 30.0))
            good_matches.push_back(matches[j]);
    }

    //第六步：绘制匹配结果

    Mat img_match;//所有匹配点图
    //这里看一下drawMatches()原型参数，简单用法就是：图1，图1关键点，图2，图2关键点，匹配数组，承接图像，后面的有默认值
    /*
    CV_EXPORTS_W void drawMatches( InputArray img1,
                                   const std::vector<KeyPoint>& keypoints1,
                                   InputArray img2,
                                   const std::vector<KeyPoint>& keypoints2,
                                   const std::vector<DMatch>& matches1to2,
                                   InputOutputArray outImg,
                                   const Scalar& matchColor=Scalar::all(-1),
                                   const Scalar& singlePointColor=Scalar::all(-1),
                                   const std::vector<char>& matchesMask=std::vector<char>(),
                                   int flags=DrawMatchesFlags::DEFAULT );
    */

    drawMatches(img_1, keypoints_1, img_2, keypoints_2, matches, img_match);
    imshow("所有匹配点对", img_match);

    Mat img_goodmatch;//筛选后的匹配点图
    drawMatches(img_1, keypoints_1, img_2, keypoints_2, good_matches, img_goodmatch);
    imshow("筛选后的匹配点对", img_goodmatch);

    waitKey(0);

    return 0;
}

ORB角点