相对简单的SURF全景拼接(七)

         在opencv为我们提供的拼接demo程序里使用的是SURF拼接算法(详情见文章一)，如果你打算深究该算法，可是Opencv的源码阅读有困难，以下这篇文章由浅至深，介绍了拼接的流程，检测特征点->计算描述符->匹配特征点->去除错误的匹配点->融合->拼接缝的处理等。缓慢的为大家介绍。实在是入门的精品。

         惯例：以下是参考博文：http://www.cnblogs.com/jsxyhelu/p/4475809.html

基于SURF特征的图像与视频拼接技术的研究和实现（一）

     一直有计划研究实时图像拼接，但是直到最近拜读西电2013年张亚娟的《基于SURF特征的图像与视频拼接技术的研究和实现》，条理清晰、内容完整、实现的技术具有市场价值。 因此定下决心以这篇论文为基础脉络，结合实际情况，进行“ 基于SURF特征的图像与视频拼接技术的研究和实现 ”。

      一、基于opencv的surf实现

      3.0以后，surf被分到了" opencv_contrib-master "中去，操作起来不习惯，这里仍然选择一直在使用的opencv2.48，其surf的调用方式为：

// raw_surf.cpp : 本例是对opencv-2.48相关例子的实现
//
# include  "stdafx.h"
# include  <iostream >
# include  "opencv2/core/core.hpp"
# include  "opencv2/features2d/features2d.hpp"
# include  "opencv2/highgui/highgui.hpp"
# include  "opencv2/nonfree/features2d.hpp"
using  namespace std;
using  namespace cv;
int main(  int argc,  char * * argv )
{
     
    Mat img_1  = imread(  "img_opencv_1.png",  0 );
    Mat img_2  = imread(  "img_opencv_2.png",  0 );
     if(  !img_1.data  ||  !img_2.data )
    { std : :cout <<  " --(!) Error reading images "  << std : :endl;  return  - 1; }
     //-- Step 1: Detect the keypoints using SURF Detector
     int minHessian  =  10000;
    SurfFeatureDetector detector( minHessian );
    std : :vector <KeyPoint > keypoints_1, keypoints_2;
    detector.detect( img_1, keypoints_1 );
    detector.detect( img_2, keypoints_2 );
     //-- Draw keypoints
    Mat img_keypoints_1; Mat img_keypoints_2;
    drawKeypoints( img_1, keypoints_1, img_keypoints_1, Scalar : :all( - 1), DrawMatchesFlags : :DEFAULT );
    drawKeypoints( img_2, keypoints_2, img_keypoints_2, Scalar : :all( - 1), DrawMatchesFlags : :DEFAULT );
     //-- Step 2: Calculate descriptors (feature vectors)
    SurfDescriptorExtractor extractor;
    Mat descriptors_1, descriptors_2;
    extractor.compute( img_1, keypoints_1, descriptors_1 );
    extractor.compute( img_2, keypoints_2, descriptors_2 );
     //-- Step 3: Matching descriptor vectors with a brute force matcher
    BFMatcher matcher(NORM_L2);
    std : :vector < DMatch  > matches;
    matcher.match( descriptors_1, descriptors_2, matches );
     //-- Draw matches
    Mat img_matches;
    drawMatches( img_1, keypoints_1, img_2, keypoints_2, matches, img_matches );
     //-- Show detected (drawn) keypoints
    imshow( "Keypoints 1", img_keypoints_1 );
    imshow( "Keypoints 2", img_keypoints_2 );
     //-- Show detected matches
    imshow( "Matches", img_matches );
    waitKey( 0);
     return  0;
}

这里采用的是surffeaturedector的方法进行点的寻找，而后采用BFMatcher的方法进行数据比对。但这种方法错误的比较多，提供了FLANN的方法进行比对:

// raw_surf.cpp : 本例是对opencv-2.48相关例子的实现
//
# include  "stdafx.h"
# include  <iostream >
# include  "opencv2/core/core.hpp"
# include  "opencv2/features2d/features2d.hpp"
# include  "opencv2/highgui/highgui.hpp"
# include  "opencv2/nonfree/features2d.hpp"
using  namespace std;
using  namespace cv;
int main(  int argc,  char * * argv )
{
     
    Mat img_1  = imread(  "img_opencv_1.png",  0 );
    Mat img_2  = imread(  "img_opencv_2.png",  0 );
     if(  !img_1.data  ||  !img_2.data )
    { std : :cout <<  " --(!) Error reading images "  << std : :endl;  return  - 1; }
     //-- Step 1: Detect the keypoints using SURF Detector
     int minHessian  =  400;
    SurfFeatureDetector detector( minHessian );
    std : :vector <KeyPoint > keypoints_1, keypoints_2;
    detector.detect( img_1, keypoints_1 );
    detector.detect( img_2, keypoints_2 );
     //-- Draw keypoints
    Mat img_keypoints_1; Mat img_keypoints_2;
    drawKeypoints( img_1, keypoints_1, img_keypoints_1, Scalar : :all( - 1), DrawMatchesFlags : :DEFAULT );
    drawKeypoints( img_2, keypoints_2, img_keypoints_2, Scalar : :all( - 1), DrawMatchesFlags : :DEFAULT );
     //-- Step 2: Calculate descriptors (feature vectors)
    SurfDescriptorExtractor extractor;
    Mat descriptors_1, descriptors_2;
    extractor.compute( img_1, keypoints_1, descriptors_1 );
    extractor.compute( img_2, keypoints_2, descriptors_2 );
     //-- Step 3: Matching descriptor vectors using FLANN matcher
    FlannBasedMatcher matcher;
    std : :vector < DMatch  > matches;
    matcher.match( descriptors_1, descriptors_2, matches );
     double max_dist  =  0;  double min_dist  =  100;
     //-- Quick calculation of max and min distances between keypoints
     for(  int i  =  0; i  < descriptors_1.rows; i ++ )
    {  double dist  = matches[i].distance;
     if( dist  < min_dist ) min_dist  = dist;
     if( dist  > max_dist ) max_dist  = dist;
    }
    printf( "-- Max dist : %f \n", max_dist );
    printf( "-- Min dist : %f \n", min_dist );
     //-- Draw only "good" matches (i.e. whose distance is less than 2*min_dist,
     //-- or a small arbitary value ( 0.02 ) in the event that min_dist is very
     //-- small)
     //-- PS.- radiusMatch can also be used here.
    std : :vector < DMatch  > good_matches;
     for(  int i  =  0; i  < descriptors_1.rows; i ++ )
    {  if( matches[i].distance  < = max( 2 *min_dist,  0. 02) )
    { good_matches.push_back( matches[i]); }
    }
     //-- Draw only "good" matches
    Mat img_matches;
    drawMatches( img_1, keypoints_1, img_2, keypoints_2,
        good_matches, img_matches, Scalar : :all( - 1), Scalar : :all( - 1),
        vector < char >(), DrawMatchesFlags : :NOT_DRAW_SINGLE_POINTS );
     //-- Show detected matches
    imshow(  "Good Matches", img_matches );
     for(  int i  =  0; i  < ( int)good_matches.size(); i ++ )
    { printf(  "-- Good Match [%d] Keypoint 1: %d  -- Keypoint 2: %d  \n", i, good_matches[i].queryIdx, good_matches[i].trainIdx ); }
    waitKey( 0);
     return  0;
}

 

 

可以发现，除了错误一例，其他都是正确的。

继续来做，计算出单应矩阵

// raw_surf.cpp : 本例是对opencv-2.48相关例子的实现
//
# include  "stdafx.h"
# include  <iostream >
# include  "opencv2/core/core.hpp"
# include  "opencv2/features2d/features2d.hpp"
# include  "opencv2/highgui/highgui.hpp"
# include  "opencv2/nonfree/features2d.hpp"
# include  "opencv2/calib3d/calib3d.hpp"
using  namespace std;
using  namespace cv;
int main(  int argc,  char * * argv )
{
     
    Mat img_1  = imread(  "img_opencv_1.png",  0 );
    Mat img_2  = imread(  "img_opencv_2.png",  0 );
     if(  !img_1.data  ||  !img_2.data )
    { std : :cout <<  " --(!) Error reading images "  << std : :endl;  return  - 1; }
     //-- Step 1: Detect the keypoints using SURF Detector
     int minHessian  =  400;
    SurfFeatureDetector detector( minHessian );
    std : :vector <KeyPoint > keypoints_1, keypoints_2;
    detector.detect( img_1, keypoints_1 );
    detector.detect( img_2, keypoints_2 );
     //-- Draw keypoints
    Mat img_keypoints_1; Mat img_keypoints_2;
    drawKeypoints( img_1, keypoints_1, img_keypoints_1, Scalar : :all( - 1), DrawMatchesFlags : :DEFAULT );
    drawKeypoints( img_2, keypoints_2, img_keypoints_2, Scalar : :all( - 1), DrawMatchesFlags : :DEFAULT );
     //-- Step 2: Calculate descriptors (feature vectors)
    SurfDescriptorExtractor extractor;
    Mat descriptors_1, descriptors_2;
    extractor.compute( img_1, keypoints_1, descriptors_1 );
    extractor.compute( img_2, keypoints_2, descriptors_2 );
     //-- Step 3: Matching descriptor vectors using FLANN matcher
    FlannBasedMatcher matcher;
    std : :vector < DMatch  > matches;
    matcher.match( descriptors_1, descriptors_2, matches );
     double max_dist  =  0;  double min_dist  =  100;
     //-- Quick calculation of max and min distances between keypoints
     for(  int i  =  0; i  < descriptors_1.rows; i ++ )
    {  double dist  = matches[i].distance;
     if( dist  < min_dist ) min_dist  = dist;
     if( dist  > max_dist ) max_dist  = dist;
    }
    printf( "-- Max dist : %f \n", max_dist );
    printf( "-- Min dist : %f \n", min_dist );
     //-- Draw only "good" matches (i.e. whose distance is less than 2*min_dist,
     //-- or a small arbitary value ( 0.02 ) in the event that min_dist is very
     //-- small)
     //-- PS.- radiusMatch can also be used here.
    std : :vector < DMatch  > good_matches;
     for(  int i  =  0; i  < descriptors_1.rows; i ++ )
    {  if( matches[i].distance  < =  /*max(2*min_dist, 0.02)*/ 3 *min_dist )
    { good_matches.push_back( matches[i]); }
    }
     //-- Draw only "good" matches
    Mat img_matches;
    drawMatches( img_1, keypoints_1, img_2, keypoints_2,
        good_matches, img_matches, Scalar : :all( - 1), Scalar : :all( - 1),
        vector < char >(), DrawMatchesFlags : :NOT_DRAW_SINGLE_POINTS );