【OpenCV】模板匹配和图像拼接

模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配（相似）部分的技术。有时候工业相机运作时，拍摄的图像范围和角度有限（保证拍摄物体的清晰度），就需要移动相机或多个相机拍摄，然后将拍摄到的图片拼接起来组成一幅范围大的我们所需要的图像。这里我们可以借助模板匹配这项技术来实现图像的拼接。

这里介绍的模板匹配（matchTemplate）可以应用与拍摄图片稳定的情况下，复杂情况下这个方法并不适用。本文先介绍模板匹配，然后基于此方法实现图像的简单拼接。

下面详细介绍下OpenCV中模板匹配的实现原理。

实现：

实现模板匹配自然需要两幅图像，一幅原图，在这幅原图中我们希望找到一块和模板匹配的区域，然后我们还需要一幅模板图像，用于和原图像进行模板比照。

为了确定匹配区域，我们需要滑动模板图像和原图进行比较，这里借用OpenCV官网中的一幅图片（官方例程是检测原图中最匹配的区域）进行说明

                                                                                                                         

左上角的便是模板图像，大图是原图。

1、通过滑动模板图像，就是将模板图像块一次移动一个像素（从左往右，从上往下），在每一个位置，都进行一次度量计算来表明它是“好”或“坏”地与那个位置匹配（或者说块图像和原图像的特定区域有多么的相似）。

我们要实现最后的图像拼接，自然不是这么小的模板图像来滑动定位好的那块区域，图像拼接一般是两幅图像上下拼接（列数相等）或左右拼接（行数相等），那么我们就截取截取其中一幅图片的要匹配区域（说白了就是定位公共区域，然后拼接的时候覆盖其中一幅图片的公共区域进行拼接，保证生成的图片没有重复量，这个在后面的图像拼接再详述）。

2、对于模板图像覆盖在原图上的每一个位置，把计算后的度量值保存在结果图像矩阵（R）中，在R中的每个位置（x,y）都包含匹配度量值（匹配的程度）。度量值中最匹配的那个值是最大值还是最小值（0）取决于模板匹配采用的是何种匹配算法。

                                                                              

下面介绍一下OpenCV中支持的匹配算法：

R(x,y)表示R坐标(x,y)处的像素值，同理T(x’,y’)和I(x+x’,y+y’)均表示对应坐标处的像素值。

假定原图 I 大小 W*H，模板图像 T 大小 w*h，那么R 大小为 (W-w+1)*(H-h+1)。然后 x' = 0……w-1，y' = 0……h-1。

  1、平方差匹配. method = CV_TM_SQDIFF

          这类方法利用平方差来进行匹配，最好匹配为0，匹配越差，匹配越差，匹配值越大。

                       

  2、归一化平方差匹配 method = CV_TM_SQDIFF_NORMED

                 

和平方差差不多，只是加以标准化，但是准确度提高了，牺牲了计算量

3、相关匹配 method = CV_TMCCORR

这类方法采用模板和图像间的乘法操作，所以较大的数表示匹配程度较高，0标识最坏的匹配结果。

                    

4、归一化相关匹配 method = CV_TM_CCORR_NORMED

                   

5、相关系数匹配 method = CV_TM_CCOEFF

这类方法将模板对其均值的相对值与图像对其均值的相关值进行匹配，1表示完美匹配，-1表示糟糕的匹配，0表示没有任何相关性。

                 

其中

                 

6、归一化相关系数匹配 method = CV_TM_CCOEFF_NORMED

            

从上面我们可以看出，随着从简单的测量（平方差）到复杂的测量（相关系数），我们可获得越来越准确的匹配，当然这是以越来越来的计算量来作为代价的。所以在实际应用中，应对这些匹配算法都进行测试，然后选择兼顾速度和精度的最佳方案。

再来看看上面提到的模板图像T，原图像I，以及度量值结果矩阵图像R。从其原理可以看出，模板图像的大小不得大于原图像（列数和行数都不得大于），然后结果图像R的大小则取决于模板图像和原图像，大小为R.rows= I.rows - T.rows + 1，R.cols = I.cols– T.cols + 1。从匹配算法来解释，结果矩阵R的每一个位置像素都是模板图像与对应位置的原图像（位置对应结果矩阵该像素位置）区域计算的结果，注意，这里是结果矩阵的每单个像素。整个模板图像与其覆盖在原图像的计算结果保存为结果矩阵中的一个像素值。最后通过获取结果图像中的最大（小）值去定位最匹配位置。

总之，结果矩阵图像R中某个位置(x,y)的像素值表示模板图像与原图像(x,y)处匹配程度。但是我们仍需设定一个阈值，只有度量值过了这个阈值我们才认为是匹配的，如果不设定一个阈值，即使不匹配也会有最大值和最小值的产生。

有了前面的基础，我们来看看OpenCV中的实现。

OpenCV通过函数 matchTemplate 实现模板匹配算法：

void matchTemplate(InputArray image, InputArray templ, OutputArray result, int method)
/*C++
parameters:
  image：原图
  templ：模板图像，不大于原图，并与原图数据类型一直
  result：结果矩阵图像，单通道32位浮点类型
  method：匹配算法选择
*/

OpenCV中直接调用这个函数就可以了，当然得注意这几个参数的图像大小和类型要求。

上面这个函数可以得到模板与原图各个位置（也不是全部位置）的匹配度量值，然后我们需要找到其中最匹配的那个位置（度量值最大或最小，试算法性质而定），这样我们需要借助函数minMaxLoc 来找到对应位置。

//找到图像矩阵中的最大值，最小值及其所在位置
void minMaxLoc(InputArray src, double* minVal, double* maxVal=0, Point* minLoc=0, Point* maxLoc=0, InputArray mask=noArray())
/*
   src：输入图像（单通道）
   minVal：指针变量，指向最小值
   maxVal：指针变量，指向最大值
   minLoc：Point指针类型，指向最小值的坐标值
   maxLoc：最大值坐标
*/

通过上面两个函数，我们可以找出两幅图像最匹配的部分，并已经获知了最匹配的那个位置，基于这里，我们便可以进行简单的图像拼接。（后面我们会讲到这个模板匹配只适用于很稳定，很简单的图像拼接）。

之前项目用到过的是手动拼接，通过前面的模板匹配已经找到了匹配位置，然后根据匹配位置创建一幅正好满足两幅图片拼接大小的图片，然后将两幅图片拷贝进去，公共匹配部分只拷贝一次。后来OpenCV2.4.0 出了一个新模块stitch拼接模块（不过没用过）。

下面通过一个简单的例程来演示图像模板匹配和拼接过程。将下面两幅图进行拼接。

                      &                       

实现代码：

#include <iostream>
#include <opencv2/opencv.hpp>
#include <time.h>

using namespace std;
using namespace cv;

int main()
{
	/*读入图像*/
	Mat image1 = imread("23.png");
	Mat image2 = imread("34.png");

	/*转灰度图像*/
	Mat image1_gray, image2_gray;
	cvtColor(image1, image1_gray, CV_BGR2GRAY);
	cvtColor(image2, image2_gray, CV_BGR2GRAY);

	//imshow("ima", image1);
	//imshow("gray", image1_gray);
	/*取图像2的全部行，1到35列作为模板
	这样image1作为原图，temp作为模板图像
	*/
	Mat temp = image2_gray(Range::all(), Range(1, 35));

	/*结果矩阵图像,大小，数据类型*/
	Mat res(image1_gray.rows - temp.rows + 1, image2_gray.cols - temp.cols + 1, CV_32FC1);

	/*模板匹配，采用归一化相关系数匹配*/
	matchTemplate(image1_gray, temp, res, CV_TM_CCOEFF_NORMED);

	/*结果矩阵阈值化处理*/
	threshold(res, res, 0.8, 1, CV_THRESH_TOZERO);
	double minVal, maxVal, threshold = 0.8;
	/*查找最大值及位置*/
	Point minLoc, maxLoc;
	minMaxLoc(res, &minVal, &maxVal, &minLoc, &maxLoc);

	//cout << maxVal << endl;
	/*图像拼接*/
	Mat temp1, result;
	if (maxVal >= threshold)//只有度量值大于阈值才认为是匹配
	{
		//result:拼接后的图像
		//temp1:原图1的非模板部分
		result = Mat::zeros(cvSize(maxLoc.x + image2.cols, image1.rows), image1.type());
		temp1 = image1(Rect(0, 0, maxLoc.x, image1.rows));
		/*将图1的非模板部分和图2拷贝到result*/
		temp1.copyTo(Mat(result, Rect(0, 0, maxLoc.x, image1.rows)));
		image2.copyTo(Mat(result, Rect(maxLoc.x - 1, 0, image2.cols, image2.rows)));
	}

	imshow("name", result);
	waitKey();
	return 0;
}

最后结果：

当然这里采用的图片比较极端，模板匹配值极高，直接拼接后基本上就是无缝效果，无需后续的图像融合。另外这里的模板匹配算子适应性低，只能应付外界条件优良的情况，如同一台相机同一环境下拍摄的两张图片进行拼接，并且图片模板部分与原图有很高的吻合度才能实现最终的拼接。

从其匹配算法描述也可以看出，该匹配方式是直接滑动（从左至右，从上至下）模板图像与原图比较，不具备其余算法如sift，surf等算法的旋转不变性以及排除噪声亮度等特性。如果在外界条件很好的情况下如相机固定，光照环境不变以及物体较稳定的情况下，是可以考虑这个模板匹配的。

参考资料：

http://docs.opencv.org/doc/tutorials/imgproc/histograms/template_matching/template_matching.html#template-matching