Brief Summary of Template Matching Based on CNN

本文简要介绍了基于CNN的模板匹配方法,重点讨论了QATM算法,它将模板匹配转化为寻找最大响应区域的问题。QATM在模板图像和目标图像的响应程度上取得突破,但对多尺度的适应性较弱。文章还列举了其他相关研究,为深度学习中的模板匹配提供参考。
摘要由CSDN通过智能技术生成

1. 前言

图像匹配问题是图像领域中较为基础的课题,其发展也从最简单粗暴的模板匹配到现在基于CNN表达的特征匹配,匹配的时效与准确性得到了很大提升。其实从某种意义上来讲模板匹配与目标跟踪存在着一些关联性,对于现有的一些跟踪算法运行过程中目标丢失的情况可以考虑使用模板匹配的方式进行找回,但是这里就需要考虑很多东西了,如目标姿态、光照变化等等因素的影响。如何得到更加鲁棒的模板匹配算法也是一个只得思考的问题。

在下面的内容中主要介绍本人认为还不错的算法QATM,并且在之后的内容总结了一些基于CNN的模板匹配算法,以提供给各位参考。

2. QATM

论文名称:《QATM:Quality-Aware Template Matching For Deep Learning》
参考代码:

  1. QATM-TF
  2. QATM_pytorch

这篇文章提出了一种采用CNN网络进行模板图像匹配的算法,将模板图与目标图分别送入这个CNN网络,之后通过文章提出的QATM方法构建模板图和目标图的响应程度。不过需要指出的是文章的方法是检测框的大小是根据模板图像固定的,这就导致其对多尺度兼容性比较弱,同时输出的检测框对目标的贴合程度不高,可以在此基础上引入网络进行训练借以提升模板匹配鲁棒性。不过这样便会使得其与目标跟踪的差异越来越小了。

文章的方法将模板匹配问题转换为寻找区域最大响应问题,则可以描述为:
R ∗ = arg max ⁡ R { ∑ r ∈ R m a x { { Q u a l i t y ( s , t ) , t ∈ T } } R^{*}=\argmax_{R}\{\sum_{r\in R}max\{\{Quality(s,t),t\in T\}\} R

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
#模板匹配 import cv2 as cv import numpy as np def template_demo(): dog = cv.imread("E:/opencv/picture/dog.jpg") dog_nose = cv.imread("E:/opencv/picture/nose.jpg") cv.imshow("dog",dog) result = cv.matchTemplate(dog,dog_nose,cv.TM_CCORR_NORMED) h,w =dog_nose.shape[:2] min_val,max_val,min_loc,max_loc=cv.minMaxLoc(result) pt1 = max_loc pt2 = (pt1[0]+w,pt1[1]+h) cv.rectangle(dog,pt1,pt2,(0,255,0),2) cv.imshow("match",dog) print(result) #src = cv.imread("E:/opencv/picture/dog.jpg") #cv.imshow("inital_window",src) template_demo() cv.waitKey(0) cv.destroyAllWindows() 分析: 模板匹配通常用于目标检测。本文我们检测狗图片的鼻子。 • 我们需要两个主要组件: 1. 源图像(I):我们期望找到与模板图像匹配的图像 2. 模板图像(T):将与模板图像进行比较的补丁图像 1. result = cv.matchTemplate(dog,dog_nose,cv.TM_CCORR_NORMED) void cv::matchTemplate( cv::InputArray image, // 待匹配图像W*H cv::InputArray templ, // 模板图像,和image类型相同, 大小 w*h cv::OutputArray result, // 匹配结果图像, 类型 32F, 大小 (W-w+1)*(H-h+1) int method // 用于比较的方法 ); 其中method有: TM_SQDIFF_NORMED匹配数值越低表示匹配效果越好 TM_CCORR_NORMED,TM_CCOEFF_NORMED匹配数值越大表示匹配效果越好 result参数:(保存各个点匹配结果的参数) 模板匹配函数cvMatchTemplate依次计算模板与待测图片的重叠区域的相似度,并将结果存入映射图像result当中,也就是说result图像中的每一个点的值代表了一次相似度比较结果 模板在待测图像上每次在横向或是纵向上移动一个像素,并作一次比较计算 我们可以通过cv.minMaxLoc函数来确定结果矩阵的最大值和最小值的位置。 2. cv.minMaxLoc(result) 返回result数值中最小值以及最小值所在的位置和最大值以及最大值所在的位置。 3. 当知道哪个点匹配度最高时这个时候我们需要用矩阵把模板给标出来 C++: void rectangle(Mat& img, Point pt1,Point pt2,const Scalar& color, int thickness=1, int lineType=8, int shift=0) 第一个参数:要在哪个图像上画? 第二个参数:矩阵的左上角点坐标 第三个参数:矩阵的右下角点坐标 第四个参数:颜色
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值