基于opencv3.1的特征检测、特征点匹配、图像拼接(三)

基于opencv3.1的特征检测、特征点匹配、图像拼接(三)

对于具有重复区域的两张至多张图像的拼接过程主要分为四步：

1. 对源图像特征点提取；
2. 对不同图像进行特征点匹配；
3. 图像合成；
4. 合成边界融合处理
   目前图像领域常用的特征点提取算法主要有Harris角点匹配，SIFT算法，SURF算法，ORB算法，FAST算法和BRIEF算法等等。由于毕设论文研究的是巡航无人车的关键技术，无人车车载相机拍摄的图像之间存在可能较大的尺度变换以及一定的仿射变换，本文最终选用基于尺度不变特征的图像配准算法。

根据匹配点集求出单应性矩阵

基于尺度不变特征的图像配准算法目前只有SIFT和SURF算法。集合了FAST算法和BRIEF算法优点的ORB也不能解决尺度变化问题。对于图像的特征检测和特征匹配部分，第二部分基于opencv3.1的特征检测、特征点匹配、图像拼接(二)已经讲述的很清楚，本文不再赘述。

目前我们已经得到两幅图像间大量的匹配点对，每一对点代表了两幅图的对应关系。

基于重复区域的图像拼接本质上依然是图像匹配，也就是说在图像A中的一部分区域通过一定的旋转变换，平移变换和仿射变换之后出现在了图像B的某个位置上。对于巡航无人车工况来说，采集到的多幅图像中的重复区域是因拍摄角度，视点的不同出现在了不同图像的不同区域中。如果将重复区域之间因视角不同产生的变换计算出来，得到一个确定的变换矩阵，就可以把这样的变换关系推广到整个图像中，认为图像A和B之间符合这样的关系。通过这样的方式，多幅视野有限的图像就可以拼接在一起。

因此，可以看出把这个变换矩阵计算出来将是最为关键的一步，其实也是整个图像拼接部分最终目的所在。

在实际工况中，多摄像头采集到的图像间往往包含了缩放变换，平移变换，投影变换以及一定程度的仿射变换；仿射变换可以看做是线性变换和平移变换的叠加，而所有的线性变换从本质上都可以归纳到投影变换的模型中；对于投影变换来说，模型可以通过一个三维的方阵来描述，由于这个矩阵是对应于齐次坐标(N+1维向量代表N维)的变换阵，可以被归一化为8个独立参数。理论上，四个匹配点对就可以确定唯一的一个投影变换矩阵，但由于这样存在误差往往使用大量的匹配点对进行拟合。在opencv中，有这样的接口完成了这个运算：
perspectiveTransform

void perspectiveTransform(InputArray src, OutputArray dst, InputArray m)

对于通过多于四个匹配点对求取单应性矩阵的拟合问题，目的是使投影误差最小，这时拟合矩阵成为了一个非线性的最优化问题。这里opencv提供了另外一个接口可以直接调用完成运算：
findHomography

Mat findHomography(InputArray srcPoints, InputArray dstPoints, int method=0, double ransacReprojThreshold=3, OutputArray mask=noArray() )

这里给出了opencv3.0及以上关于这两个函数给出的例程源码：

#include <stdio.h>
#include <iostream>
#include "opencv2/core.hpp"
#include "opencv2/features2d.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/calib3d.hpp"
#include "opencv2/xfeatures2d.hpp"
using namespace cv;
using namespace cv::xfeatures2d;
void readme();
/* @function main */
int main( int argc, char** argv )
{
   
  if( argc != 3 )
  {
    readme(); return -1; }
  Mat img_object = imread( argv[1], IMREAD_GRAYSCALE );
  Mat img_scene = imread( argv[2], IMREAD_GRAYSCALE );
  if( !img_object.data || !img_scene.data )
  {
    std::cout<< " --(!) Error reading images " << std::endl; return -1; }
  //-- Step 1: Detect the keypoints using SURF Detector
  int minHessian = 400;
  SurfFeatureDetector detector( minHessian );
  std::vector<KeyPoint> keypoints_object, keypoints_scene;
  detector.detect( img_object, keypoints_object );
  detector.detect( img_scene, keypoints_scene );
  //-- Step 2: Calculate descriptors (feature vectors)
  SurfDescriptorExtractor extractor;
  Mat descriptors_object, descriptors_scene;
  extractor.compute( img_object, keypoints_object, descriptors_object );
  extractor.compute( img_scene, keypoints_scene, descriptors_scene );
  //-- Step 3: Matching descriptor vectors using FLANN matcher
  FlannBasedMatcher matcher;
  std::vector< DMatch > matches;
  matcher.match( descriptors_object, descriptors_scene, matches );
  double max_dist = 0; double min_dist = 100;
  //-- Quick calculation of max and min distances between keypoints
  for( int i = 0; i < descriptors_object.row