OpenCV-图像处理(27、模板匹配(Template Match))

模板匹配介绍

我们需要2幅图像:

  • 原图像 (I): 在这幅图像里,我们希望找到一块和模板匹配的区域
  • 模板 (T): 将和原图像比照的图像块
    在这里插入图片描述
  • 模板匹配就是在整个图像区域发现与给定子图像匹配的小块区域。
  • 所以模板匹配首先需要一个模板图像T(给定的子图像)
  • 另外需要一个待检测的图像-源图像S
  • 工作方法,在带检测图像上,从左到右,从上向下计算模板图像与重叠子图像的匹配度,匹配程度越大,两者相同的可能性越大。

模板匹配原理

  • 我们的目标是检测最匹配模板的原图像的区域:
    在这里插入图片描述
  • 为了确定匹配模板区域, 我们不得不滑动模板图像和原图像进行比较 :
    在这里插入图片描述
  • 对于 模板(T) 覆盖在 原图像 (I) 上的每个位置,你把度量值保存 到 结果图像矩阵 ( R ) 中. 在 R 中的每个位置 (x,y) 都包含匹配度量值:
    在这里插入图片描述
  • 上图(右)就是 TM_CCORR_NORMED 方法处理后的结果图像 R . 最白的位置代表最高的匹配. 正如您所见, 黑色框住的位置很可能是结果图像矩阵中的最大数值, 所以这个区域 (以这个点为顶点,长宽和模板图像一样大小的矩阵) 被认为是匹配的.
  • 实际上, 我们使用函数 minMaxLoc 来定位在矩阵 R 中的最大值点 (或者最小值, 根据函数输入的匹配参数) .

void minMaxLoc(InputArray src, double* minVal, double* maxVal=0, Point* minLoc=0, Point* maxLoc=0, InputArray mask=noArray())
src:输入图像。
minVal:在矩阵 src中存储的最小值,可输入NULL表示不需要。
maxVal :在矩阵 src中存储的最大值,可输入NULL表示不需要。
minLoc:在结果矩阵中最小值的坐标,可输入NULL表示不需要,Point类型。
maxLoc:在结果矩阵中最大值的坐标,可输入NULL表示不需要,Point类型。
mask:可选的掩模

模板匹配介绍 – 匹配算法介绍

OpenCV中提供了六种常见的匹配算法如下:

  • 计算平方不同 : 计算出来的值越小,越相关 TM_SQDIFF = 0
    在这里插入图片描述
  • 计算相关性: 计算出来的值越大,越相关 TM_CCORR = 2
    在这里插入图片描述
  • 计算相关系数: 计算出来的值越大,越相关 TM_CCOEFF = 4
    在这里插入图片描述
  • 计算归一化平方不同 : 计算出来的值越接近0,越相关 TM_SQDIFF_NORMED = 1
    在这里插入图片描述
  • 计算归一化相关性: 计算出来的值越接近1,越相关 TM_CCORR_NORMED = 3
    在这里插入图片描述
  • 计算归一化相关系数: 计算出来的值越接近1,越相关 TM_CCOEFF_NORMED = 5
    在这里插入图片描述

在这里插入图片描述

相关API介绍cv::matchTemplate

matchTemplate(
InputArray image,// 源图像,必须是8-bit或者32-bit浮点数图像
InputArray templ,// 模板图像,类型与输入图像一致
OutputArray result,// 输出结果,必须是单通道32位浮点数,假设源图像WxH,模板图像wxh, 则结果必须为W-w+1, H-h+1的大小。
int method,//使用的匹配方法
InputArray mask=noArray()//(optional)
)

在这里插入图片描述

程序代码

#include <opencv2/opencv.hpp>
#include <iostream>
using namespace std;
using namespace cv;
 
// 定义一些全局变量, 例如原图像(img), 模板图像(templ) 和结果图像(result) , 
// 还有匹配方法以及窗口名称:
Mat img, templ, result;
char* image_window = "Source Image";
char* result_window = "Result window";
 
int match_method = TM_SQDIFF;
int max_Trackbar = 5;

void MatchingMethod( int, void* );
 
int main( int argc, char** argv )
{
	// 1. 载入原图像和模板块
	img = imread("E:/Experiment/OpenCV/Pictures/TargetSearch.jpg");
	templ = imread("E:/Experiment/OpenCV/Pictures/Target.jpg");
	imshow("模板图像",templ);
 
	// 创建窗口
	namedWindow( image_window, CV_WINDOW_AUTOSIZE );
	namedWindow( result_window, CV_WINDOW_AUTOSIZE );
 
	// 2. 创建滑动条并输入将被使用的匹配方法. 一旦滑动条发生改变,回调函数 MatchingMethod 就会被调用.
	char* trackbar_label = "模板匹配方式";
	createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
 
	MatchingMethod( 0, 0 );
 
	waitKey(0);
	return 0;
}

void MatchingMethod( int, void* )
{
	// 将被显示的原图像
	Mat img_display;
	img.copyTo( img_display );
 
	// 创建输出结果的矩阵
	int result_cols =  img.cols - templ.cols + 1;
	int result_rows = img.rows - templ.rows + 1;
	// 创建了一幅用来存放匹配结果的输出图像矩阵. 仔细看看输出矩阵的大小(它包含了所有可能的匹配位置)
	result.create( result_cols, result_rows, CV_32FC1 );
 
	// 执行模板匹配操作,并对结果进行归一化:
	matchTemplate( img, templ, result, match_method );
	normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
 
	// 通过函数 minMaxLoc 定位最匹配的位置
	double minVal, maxVal; 
	Point minLoc, maxLoc;
	Point matchLoc;
	
	//通过使用函数 minMaxLoc ,我们确定结果矩阵 R 的最大值和最小值的位置.
	minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );//寻找result中最大值,最小值,及它们所在的位置
 
	// 对于方法 SQDIFF 和 SQDIFF_NORMED, 越小的数值代表更高的匹配结果. 而对于其他方法, 数值越大匹配越好
	if( match_method  == CV_TM_SQDIFF || match_method == CV_TM_SQDIFF_NORMED ){ 
		matchLoc = minLoc; 
	}else{ 
		matchLoc = maxLoc; 
	}
 
	// 绘制矩形
	rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
	rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
 
	imshow( image_window, img_display );
	imshow( result_window, result );
 
	return;
}


运行结果

在这里插入图片描述
在这里插入图片描述

参考博客

  1. https://blog.csdn.net/LYKymy/article/details/83210432 (我觉得他写的比我好,推荐阅读)
  2. https://blog.csdn.net/huanghuangjin/article/details/81180568
好的,以下是基于OpenCV-Python实现的车牌字符识别代码: ```python import cv2 import numpy as np # 定义字符模板路径 template_path = "templates/" # 定义字符匹配方法 method = cv2.TM_CCOEFF_NORMED # 定义字符列表 characters = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'J', 'K', 'L', 'M', 'N', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z'] # 加载字符模板 templates = [] for char in characters: template = cv2.imread(template_path + char + ".jpg", cv2.IMREAD_GRAYSCALE) templates.append(template) # 创建SIFT特征检测器 sift = cv2.xfeatures2d.SIFT_create() # 创建FLANN匹配器 FLANN_INDEX_KDTREE = 0 index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5) search_params = dict(checks=50) flann = cv2.FlannBasedMatcher(index_params, search_params) # 加载车牌图像 img = cv2.imread("car_plate.jpg") # 转换为灰度图像 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 二值化处理 ret, thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU) # 查找轮廓 contours, hierarchy = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 遍历所有轮廓 for contour in contours: # 计算轮廓的外接矩形 x, y, w, h = cv2.boundingRect(contour) # 跳过过小的轮廓 if w < 10 or h < 10: continue # 提取轮廓区域 roi = gray[y:y + h, x:x + w] # 使用SIFT特征检测器提取特征 kp1, des1 = sift.detectAndCompute(roi, None) # 遍历所有字符模板 for i, template in enumerate(templates): # 使用SIFT特征检测器提取特征 kp2, des2 = sift.detectAndCompute(template, None) # 使用FLANN匹配器进行特征匹配 matches = flann.knnMatch(des1, des2, k=2) # 根据最佳匹配结果计算匹配度 good_matches = [] for m, n in matches: if m.distance < 0.7 * n.distance: good_matches.append(m) match_percent = len(good_matches) / len(kp2) # 如果匹配度大于阈值,则认为匹配成功 if match_percent > 0.5: # 在原图像上绘制字符标识 cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2) cv2.putText(img, characters[i], (x, y - 5), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2) # 显示结果图像 cv2.imshow("Result", img) cv2.waitKey(0) cv2.destroyAllWindows() ``` 在这个例子中,我们首先定义了字符模板的路径、字符匹配方法、字符列表和FLANN匹配器等参数。然后,我们加载字符模板、创建SIFT特征检测器、创建FLANN匹配器,并加载车牌图像。 接下来,我们将车牌图像转换为灰度图像,并进行二值化处理。然后,我们使用findContours函数查找图像中的轮廓,并遍历所有轮廓。对于每个轮廓,我们计算其外接矩形,并提取该区域作为字符的候选区域。 然后,我们使用SIFT特征检测器提取候选区域的特征,并与所有字符模板进行匹配。我们使用FLANN匹配器进行特征匹配,并根据匹配度判断是否匹配成功。如果匹配成功,则在原图像上绘制字符标识。 最后,我们显示结果图像。可以看到,识别结果非常准确。 需要注意的是,这个例子只是一个简单的演示,实际应用中可能需要更复杂的算法和模型来提高识别准确率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值