目的
在这篇教程中你将学会:
- 学会使用 OpenCV 函数 matchTemplate 来搜索两个图片之间相匹配的部分
- 学会使用 OpenCV 函数 minMaxLoc 在给定的数组中查找最大和最小值(以及位置).
原理
什么是模板匹配?
模板匹配是一项在给定的图片中查找模板图片的技术。.
模板匹配是怎么工作的?
上面的图片通过滑动匹配一个 TM_CCORR_NORMED 并得到 R 结果。最高匹配值显示为最佳匹配。如你所见,红色线条标识出来的是最高值,因此该位置(矩形)就是匹配的结果。
-
通过模板图片的滑动,这意味着模板图片每次滑动一个像素(从左到右,从上到下)。每个不同的位置上,都会计算出一个数值来表示匹配度。
-
实际上我们可以使用函数 minMaxLoc 来定位在 R 阵列中最高值(或者最低值,这取决于匹配方法的类型).
OpenCV 提供哪些匹配方法?
OpenCV 通过 matchTemplate 来实现模板匹配,提供了以下 6 种方法:
-
method=CV_TM_SQDIFF
-
method=CV_TM_SQDIFF_NORMED
-
method=CV_TM_CCORR
-
method=CV_TM_CCORR_NORMED
-
method=CV_TM_CCOEFF
where
-
method=CV_TM_CCOEFF_NORMED
代码
-
本程序主要功能:
- 加载图片以及要匹配的模板图片
- 使用 OpenCV 的 matchTemplate 函数执行匹配过程,并使用 6 种方法进行试验
- 对匹配输出进行规划化处理
- 定位匹配度最高的位置
- 在最高匹配的区域绘制矩形框
-
下载代码请点击 这里
-
详细代码:
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <stdio.h>
using namespace std;
using namespace cv;
/// Global Variables
Mat img; Mat templ; Mat result;
char* image_window = "Source Image";
char* result_window = "Result window";
int match_method;
int max_Trackbar = 5;
/// Function Headers
void MatchingMethod( int, void* );
/** @function main */
int main( int argc, char** argv )
{
/// Load image and template
img = imread( argv[1], 1 );
templ = imread( argv[2], 1 );
/// Create windows
namedWindow( image_window, CV_WINDOW_AUTOSIZE );
namedWindow( result_window, CV_WINDOW_AUTOSIZE );
/// Create Trackbar
char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
MatchingMethod( 0, 0 );
waitKey(0);
return 0;
}
/**
* @function MatchingMethod
* @brief Trackbar callback
*/
void MatchingMethod( int, void* )
{
/// Source image to display
Mat img_display;
img.copyTo( img_display );
/// Create the result matrix
int result_cols = img.cols - templ.cols + 1;
int result_rows = img.rows - templ.rows + 1;
result.create( result_rows, result_cols, CV_32FC1 );
/// Do the Matching and Normalize
matchTemplate( img, templ, result, match_method );
normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
/// Localizing the best match with minMaxLoc
double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;
minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
/// For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
if( match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
{ matchLoc = minLoc; }
else
{ matchLoc = maxLoc; }
/// Show me what you got
rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
imshow( image_window, img_display );
imshow( result_window, result );
return;
}
代码解释
-
定义全局变量,注入图像、模板、结果阵列等等:
Mat img; Mat templ; Mat result; char* image_window = "Source Image"; char* result_window = "Result window"; int match_method; int max_Trackbar = 5;
-
加载原图和模板图:
img = imread( argv[1], 1 ); templ = imread( argv[2], 1 );
-
创建窗体来显示结果:
namedWindow( image_window, CV_WINDOW_AUTOSIZE ); namedWindow( result_window, CV_WINDOW_AUTOSIZE );
-
创建 Trackbar 给匹配方法使用,当有变化时候回调 MatchingMethod 方法.
char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED"; createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
-
等待用户键入任何键以退出程序.
waitKey(0); return 0;
-
检查回调函数,首先对原图做了个拷贝:
Mat img_display; img.copyTo( img_display );
-
下一步创建结果阵列用来存储匹配结果,观察结果阵列的大小
int result_cols = img.cols - templ.cols + 1; int result_rows = img.rows - templ.rows + 1; result.create( result_rows, result_cols, CV_32FC1 );
-
执行模板匹配函数:
matchTemplate( img, templ, result, match_method );
参数包含输入图片、模板图片,结果存放阵列以及匹配方法
-
对结果进行规范化:
normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
-
使用 minMaxLoc 在结果阵列中定位最大和最小的匹配度
double minVal; double maxVal; Point minLoc; Point maxLoc; Point matchLoc; minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
该函数需要以下参数:
- result: 源数组
- &minVal 和 &maxVal: 用来存储结果中的最小和最大匹配度
- &minLoc and &maxLoc: 数组中的最小和最大匹配对应的位置点.
- Mat(): 可选的掩码值
-
对前两个方法 ( CV_SQDIFF 和 CV_SQDIFF_NORMED ) 来说最低值表示最佳匹配。而其他的方法则是值越高匹配度越高。因此我们在 matchLoc 变量中保存相应的值:
if( match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED ) { matchLoc = minLoc; } else { matchLoc = maxLoc; }
-
显示原图以及结果阵列,并在最高匹配的位置绘制矩形::
rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 ); rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 ); imshow( image_window, img_display ); imshow( result_window, result );
匹配结果
-
测试程序的原图:
测试程序的模板图:
-
生成下列的结果图(前面使用的是标准方法: SQDIFF, CCORR 和 CCOEFF, 下面是经过规范化后的版本). 前三个图里,第一个图最黑表示最佳匹配,第2、3个图则是最亮为最佳匹配。
-
正确的匹配结果如下图所示 (黑色方框为匹配区域)。需要注意的是 CCORR 和 CCDEFF 给出了错误的匹配,但是这些错误的匹配经过规范化后结果就正确了。这是因为我们使用了最高匹配而不是可能的高匹配。