⚠️由于自己的拖延症,3.4.3翻到一半,OpenCV发布了4.0.0了正式版,所以接下来是按照4.0.0翻译的。
⚠️除了版本之外,其他还是照旧,Template Matching,附原文。
目标
在本章你会学到:
- 使用模板匹配找出图像中的对象
- 你会看到以下函数:cv.matchTemplate(), cv.minMaxLoc()
理论
模板匹配是一个搜索并在一张更大的图像中找出模板图像位置的方法。OpenCV带有一个用于此目的的函数cv.matchTemplate()。它简单的在输入图像上滑动模板图像(好像做二维卷积那样)然后比较模板和在模板之下的那一部分输入图像。OpenCV里实现了几种比较的方法。(你可以看文档来获取更多细节)。它返回一张灰度图像,每个像素点的值代表了那个像素点和它周围的邻居组成的图像和模板的相似程度。
如果输入图像的大小是(WxH)然后模板图像的大小是(wxh),输出的这张灰度图大小就是(W-w+1, H-h+1)。一旦你得到了这个结果,你可以用函数cv.minMaxLoc()找出结果中最大/最小值。把最大/最小值作为左上角,取高宽(w,h)的矩形,那个矩形就是你(原图和模板匹配的)的模板区域。
提示
如果你使用cv.TM_SQDIFF作为比较(区域与模板匹配度)的方法。最小值是最优匹配(译者注:所以上一节中提到的是"最大/最小")。
OpenCV里的模板匹配
现在,一个示例。我们会从梅西的照片中搜索出梅西的面部。因此我创建了一个如下的模板:
我们会尝试所有的比较方法,如此我们便可以查看他们的结果,看看都是啥样的:
import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
img = cv.imread('messi5.jpg',0)
img2 = img.copy()
template = cv.imread('template.jpg',0)
w, h = template.shape[::-1]
# All the 6 methods for comparison in a list
methods = ['cv.TM_CCOEFF', 'cv.TM_CCOEFF_NORMED', 'cv.TM_CCORR',
'cv.TM_CCORR_NORMED', 'cv.TM_SQDIFF', 'cv.TM_SQDIFF_NORMED']
for meth in methods:
img = img2.copy()
method = eval(meth)
# Apply template Matching
res = cv.matchTemplate(img,template,method)
min_val, max_val, min_loc, max_loc = cv.minMaxLoc(res)
# If the method is TM_SQDIFF or TM_SQDIFF_NORMED, take minimum
if method in [cv.TM_SQDIFF, cv.TM_SQDIFF_NORMED]:
top_left = min_loc
else:
top_left = max_loc
bottom_right = (top_left[0] + w, top_left[1] + h)
cv.rectangle(img,top_left, bottom_right, 255, 2)
plt.subplot(121),plt.imshow(res,cmap = 'gray')
plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(img,cmap = 'gray')
plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
plt.suptitle(meth)
plt.show()
看以下结果:
你可以看到使用 cv.TM_CCORR 的结果并没有我们想象中那么好。
多对象模板匹配
在前一部分,我们在图像中寻找梅西的脸,它只在图中出现了一次。假设你在搜索的对象会在图中出现多次,cv.minMaxLoc()就无法给你所有的匹配点啦。这时候我们要使用阈值。在下面这个例子中,我们将使用著名游戏采蘑菇的截图,并在其中找到硬币。
import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt
img_rgb = cv.imread('mario.png')
img_gray = cv.cvtColor(img_rgb, cv.COLOR_BGR2GRAY)
template = cv.imread('mario_coin.png',0)
w, h = template.shape[::-1]
res = cv.matchTemplate(img_gray,template,cv.TM_CCOEFF_NORMED)
threshold = 0.8
loc = np.where( res >= threshold)
for pt in zip(*loc[::-1]):
cv.rectangle(img_rgb, pt, (pt[0] + w, pt[1] + h), (0,0,255), 2)
cv.imwrite('res.png',img_rgb)
结果: