【opencv 450 Image Processing】Template Matching模板匹配

十年一梦实验室

于 2022-03-28 16:46:30 发布

阅读量1.7k

点赞数 1

分类专栏： opencv 文章标签： c++ opencv 计算机视觉

本文链接：https://blog.csdn.net/cxyhjl/article/details/123799374

版权

opencv 专栏收录该内容

87 篇文章 12 订阅

订阅专栏

Goal

在本教程中，您将学习如何：

使用 OpenCV 函数 matchTemplate() 搜索图像补丁和输入图像之间的匹配

使用 OpenCV 函数 minMaxLoc() 查找给定数组中的最大值和最小值（以及它们的位置）。

Theory

What is template matching?

模板匹配是一种用于查找与模板图像（补丁）匹配（相似）的图像区域的技术。

虽然补丁patch必须是矩形，但可能并非所有矩形都是相关的。在这种情况下，可以使用掩码来隔离应用于查找匹配的补丁patch部分。

How does it work?

我们需要两个主要组件：

源图像Source image (I)（I）：我们期望在其中找到与模板图像匹配的图像

模板图像 Template image (T)：将与源图像进行比较的补丁patch 图像

我们的目标是检测最高匹配区域：

为了识别匹配区域，我们必须通过滑动将模板图像与源图像进行比较：

通过滑动，我们的意思是一次移动一个像素（从左到右，从上到下）。在每个位置，都会计算一个度量，因此它表示该位置匹配的“好”或“坏”（或补丁与源图像的特定区域的相似程度）。

对于在I 上的每个位置T，您将度量存储在result matrix R 中。R 中的每个位置 (x,y) 都包含匹配度量match metric：

上图是使用度量 TM_CCORR_NORMED 滑动补丁的结果 R。 最亮的位置表示最高匹配。如您所见，红色圆圈标记的位置可能是具有最高值的位置，因此该位置（由该点形成的一个角和宽度和高度等于补丁图像的矩形the rectangle formed by that point as a corner and width and height equal to the patch image）被认为是匹配的。

在实践中，我们使用函数 minMaxLoc() 在 R 矩阵中定位最大值（或更低，取决于匹配方法的类型）

How does the mask work?

如果匹配需要掩膜，则需要三个组件：

源图像Source image（I）：我们期望在其中找到与模板图像匹配的图像

模板图像 Template image (T)：将与源图像进行比较的补丁图像

掩膜图像Mask image （M）：mask，对模板进行masks的灰度图

目前只有两种匹配方法接受掩码：TM_SQDIFF 和 TM_CCORR_NORMED（有关 opencv 中所有可用匹配方法的说明，请参见下文）。
掩膜必须与模板具有相同的尺寸
掩膜应具有 CV_8U 或 CV_32F 深度以及与模板图像相同的通道数。在 CV_8U 情况下，掩码值被视为二进制，即零和非零。在 CV_32F 的情况下，值应该在 [0..1] 范围内，模板像素将乘以相应的掩码像素值。由于样本中的输入图像具有 CV_8UC3 类型，因此mask也被读取为彩色图像。

Which are the matching methods available in OpenCV?

OpenCV 中可用的匹配方法有哪些？

好问题。 OpenCV 在函数 matchTemplate() 中实现模板匹配。可用的方法有 6 种：

method=TM_SQDIFF

method=TM_SQDIFF_NORMED

method=TM_CCORR

method=TM_CCORR_NORMED

method=TM_CCOEFF

where

method=TM_CCOEFF_NORMED

Code

这个程序有做了什么？

加载输入图像、图像补丁（模板）和可选的掩码

使用 OpenCV 函数 matchTemplate() 和前面描述的 6 种匹配方法中的任何一种来执行模板匹配过程。用户可以通过在 Trackbar 中输入其选择来选择方法。如果提供了掩码，它将仅用于支持掩码的方法

规范化匹配过程的输出Normalize the output of the matching procedure

定位匹配概率较高的位置Localize the location with higher matching probability

在与最高匹配对应的区域周围绘制一个矩形

可下载代码：点击这里

opencv/MatchTemplate_Demo.cpp at 4.x · opencv/opencv · GitHub

代码一目了然

/**
 * @file MatchTemplate_Demo.cpp
 * @brief 模板匹配Sample code to use the function MatchTemplate
 * @author OpenCV team
 */

#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <iostream>

using namespace std;
using namespace cv;

//! [declare]
/// Global Variables
bool use_mask; //使用掩膜
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";

int match_method;
int max_Trackbar = 5;//6中匹配方法
//! [declare]

/// 函数头 Function Headers
void MatchingMethod( int, void* );

/**
 * @function main
 */
int main( int argc, char** argv )
{
  if (argc < 3)
  {
    cout << "Not enough parameters" << endl;
    cout << "Usage:\n" << argv[0] << " <image_name> <template_name> [<mask_name>]" << endl;
    return -1;
  }

  //! [load_image]
  /// 加载图像和模板Load image and template
  img = imread( argv[1], IMREAD_COLOR );
  templ = imread( argv[2], IMREAD_COLOR );

  if(argc > 3) {
    use_mask = true;
    mask = imread( argv[3], IMREAD_COLOR );//读取掩膜
  }

  if(img.empty() || templ.empty() || (use_mask && mask.empty()))
  {
    cout << "无法读取其中一张图片Can't read one of the images" << endl;
    return EXIT_FAILURE;
  }
  //! [load_image]

  //! [create_windows]
  /// 创建窗口
  namedWindow( image_window, WINDOW_AUTOSIZE );
  namedWindow( result_window, WINDOW_AUTOSIZE );
  //! [create_windows]

  //! [create_trackbar]
  /// 创建滑动条
  const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
  createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
  //! [create_trackbar]
	//模板匹配
  MatchingMethod( 0, 0 );

  //! [wait_key]
  waitKey(0);
  return EXIT_SUCCESS;
  //! [wait_key]
}

/**
 * @function MatchingMethod
 * @brief 滑动条回调 Trackbar callback
 */
void MatchingMethod( int, void* )
{
  //! [copy_source]
  /// 要显示的源图像Source image to display
  Mat img_display;
  img.copyTo( img_display );
  //! [copy_source]

  //! [create_result_matrix]
  /// 创建结果矩阵  Create the result matrix
  int result_cols =  img.cols - templ.cols + 1;
  int result_rows = img.rows - templ.rows + 1;

  result.create( result_rows, result_cols, CV_32FC1 );
  //! [create_result_matrix]

  //! [match_template]
  /// 进行匹配和规范化 Do the Matching and Normalize
  bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);//接受掩膜的方法
  if (use_mask && method_accepts_mask)
    { matchTemplate( img, templ, result, match_method, mask); }//执行模板匹配，带掩膜
  else
    { matchTemplate( img, templ, result, match_method); }//无掩膜模板匹配
  //! [match_template]

  //! [normalize] 归一化
  normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
  //! [normalize]

  //! [best_match]
  /// 使用 minMaxLoc 定位最佳匹配 Localizing the best match with minMaxLoc
  double minVal; double maxVal; Point minLoc; Point maxLoc;
  Point matchLoc;//最佳的匹配点
//在数组中找到全局最小和最大值 
  minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
  //! [best_match]

  //! [match_loc]
  /// 对于 SQDIFF 和 SQDIFF_NORMED ，最佳匹配是较低的值。 对于所有其他方法，越高越好 For SQDIFF and SQDIFF_NORMED, the best matches are lower values. For all the other methods, the higher the better
  if( match_method  == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
    { matchLoc = minLoc; }//对于 SQDIFF 和 SQDIFF_NORMED ，最佳匹配是较低的值
  else
    { matchLoc = maxLoc; }//最佳匹配点：左上角
  //! [match_loc]

  //! [imshow]
  /// 告诉我你得到了什么
  rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
  rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );

  imshow( image_window, img_display );
  imshow( result_window, result );
  //! [imshow]

  return;
}

Explanation

声明一些全局变量，例如图像、模板和结果矩阵，以及匹配方法和窗口名称：

bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";
int match_method;
int max_Trackbar = 5;

加载源图像、模板和可选的（如果匹配方法支持）掩码：

img = imread( argv[1], IMREAD_COLOR );
templ = imread( argv[2], IMREAD_COLOR );
if(argc > 3) {
use_mask = true;
mask = imread( argv[3], IMREAD_COLOR );
}
if(img.empty() || templ.empty() || (use_mask && mask.empty()))
{
cout << "Can't read one of the images" << endl;
return EXIT_FAILURE;
}

创建 Trackbar 以输入要使用的匹配方法的种类。当检测到更改时，将调用回调函数。

const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

让我们看看回调函数。首先，它会复制源图像：

Mat img_display;
img.copyTo( img_display );

执行模板匹配操作。参数自然是输入图像 I、模板 T、结果 R 和 match_method（由 Trackbar 给出），以及可选的掩码图像 M。

bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);
if (use_mask && method_accepts_mask)
{ matchTemplate( img, templ, result, match_method, mask); }
else
{ matchTemplate( img, templ, result, match_method); }

我们对结果进行归一化：

normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

我们使用 minMaxLoc() 定位结果矩阵 R 中的最小值和最大值。

double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;
minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

对于前两种方法（ TM_SQDIFF 和 MT_SQDIFF_NORMED ），最佳匹配是最低值。对于所有其他人，较高的值代表更好的匹配。因此，我们将对应的值保存在 matchLoc 变量中：

if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
{ matchLoc = minLoc; }
else
{ matchLoc = maxLoc; }

显示源图像和结果矩阵。在可能的最高匹配区域周围画一个矩形：

rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
imshow( image_window, img_display );
imshow( result_window, result );