1、模板匹配
模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配(相似)部分的技术,它应该是寻找ROI(模板)最简单高效的方式了。模板匹配的工作方式跟直方图的反向投影基本一样,只不过反射投影直方图得到的是ROI出现在图像中特定位置的概率,是一种概率映射,而模板匹配是直接关于像素的度量。
假设我们有一张100x100的输入图像,ROI(模板)是10x10的图像,模板匹配具体的操作方式是这样的:
1)从输入图像的左上角(0,0)开始滑动,获取(0,0)至(10,10)的临时图像;
2)选择一种度量方式(函数)对比临时图像和模板图像,度量值 保存 到 结果图像矩阵 (R) 中;
3)滑动模板图像至(0,1),获取(0,1)至(10,11)的临时图像,对比,并将度量值记录到结果图像R中;
4)重复步骤(1)~(3)直到输入图像的右下角;
5)定位在结果图像矩阵 R 中的最大值点 (或者最小值, 根据度量函数输入的匹配参数),即为模板最有可能出现的位置。
OpenCV提供了模板匹配的API函数,其函数原型为:
void matchTemplate(InputArray image,
InputArray templ,
OutputArray result,
int method)
Parameters:
前三个由操作步骤很容易理解,第四个参数是模板匹配的度量函数,OpenCV支持以下6种对比方式:
CV_TM_SQDIFF 平方差匹配法:采用平方差来进行匹配;最好的匹配值为0;匹配越差,匹配值越大。
CV_TM_CCORR 相关匹配法:采用乘法操作;数值越大表明匹配程度越好。
CV_TM_CCOEFF 相关系数匹配法:1表示完美的匹配;-1表示最差的匹配。
CV_TM_SQDIFF_NORMED 归一化平方差匹配法
CV_TM_CCORR_NORMED 归一化相关匹配法
CV_TM_CCOEFF_NORMED 归一化相关系数匹配法
具体公式请参考opencvdoc。
Demo程序:
#include <iostream>
#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
using namespace std;
using namespace cv;
bool draw;
Mat src;//原始图像
Mat roi;//ROI图像
Mat result;
Point cursor;//初始坐标
Rect rect;//标记ROI的矩形框
char* image_window = "SrcImage";
char* result_window = "Result window";
int match_method;
int max_Trackbar = 5;
void MatchingMethod( int, void* );
void onMouse(int event, int x, int y, int flags, void *param);
int main()
{
src=imread("test.jpg");
if(src.data==0)
{
cout<<"error, the src image is not built!"<<endl;
return -1;
}
//cvtColor(src,src,CV_BGR2GRAY);
namedWindow(image_window);
imshow(image_window,src);
setMouseCallback(image_window, onMouse, NULL);
namedWindow(result_window);
waitKey();
return 0;
}
void onMouse(int event, int x, int y, int flags, void *param)
{
Mat img = src.clone();
switch (event)
{
//按下鼠标左键
case CV_EVENT_LBUTTONDOWN:
//点击鼠标图像时,清除之前ROI图像的显示窗口
cvDestroyWindow("ROI");
//存放起始坐标
cursor = Point(x, y);
//初始化起始矩形框
rect = Rect(x, y, 0, 0);
draw = true;
break;
//松开鼠标左键
case CV_EVENT_LBUTTONUP:
if (rect.height > 0 && rect.width > 0)
{
//将img中的矩形区域复制给roi,并显示在SignROI窗口
roi = img(Rect(rect.x, rect.y, rect.width, rect.height));
rectangle(img, rect, Scalar(0, 0, 255),2);
namedWindow("SignROI");
imshow("SignROI", img);
//将画过矩形框的图像用原图像还原
src.copyTo(img);
imshow("SrcImage", img);
//显示ROI图像
//namedWindow("ROI");
//imshow("ROI", roi);
//进行模板匹配
// 创建滑动条
char* trackbar_label = "MatchTemplate"; /* 0: SQDIFF
1: SQDIFF NORMED
2: TM CCORR
3: TM CCORR NORMED
4: TM COEFF
5: TM COEFF NORMED */
createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
MatchingMethod( 0, 0 );
waitKey(10);
}
draw = false;
break;
//移动光标
case CV_EVENT_MOUSEMOVE:
if (draw)
{
//用MIN得到左上点作为矩形框的起始坐标,如果不加这个,画矩形时只能向一个方向进行
rect.x = MIN(x, cursor.x);
rect.y = MIN(y, cursor.y);
rect.width = abs(cursor.x - x);
rect.height = abs(cursor.y - y);
//防止矩形区域超出图像的范围
rect &= Rect(0, 0, src.cols, src.rows);
}
break;
}
}
void MatchingMethod( int, void* )
{
// 将被显示的原图像
Mat img_display;
src.copyTo( img_display );
// 创建输出结果的矩阵
int result_cols = src.cols - roi.cols + 1;
int result_rows = src.rows - roi.rows + 1;
result.create( result_cols, result_rows, CV_32FC1 );
// 进行匹配和标准化
matchTemplate( src, roi, result, match_method );
normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
// 通过函数 minMaxLoc 定位最匹配的位置
double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;
minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
// 对于方法 SQDIFF 和 SQDIFF_NORMED, 越小的数值代表更高的匹配结果
//对于其他方法, 数值越大匹配越好
if( match_method == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED )
{
matchLoc = minLoc;
}
else
{
matchLoc = maxLoc;
}
// 检测结果
rectangle( img_display, matchLoc, Point( matchLoc.x + roi.cols , matchLoc.y + roi.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + roi.cols , matchLoc.y + roi.rows ), Scalar::all(0), 2, 8, 0 );
imshow( image_window, img_display );
imshow( result_window, result );
return;
}
运行结果:
2、均值漂移算法(Mean Shift)
关于Mean Shift的理论知识,见我的博文OpenCV之均值漂移(Mean Shift)算法.
由于OpenCV中的API函数的使用是建立在图像分布直方图的基础上的,所以对之前OpenCV中感兴趣区域的选取与检测(一)中的Demo稍作修改即可。