【opencv】(7) 图像匹配、直方图、图像均衡化

各位同学好，今天和大家分享一下opencv中图像匹配方法，和图像均衡化方法

（1）模板匹配： cv2.matchTemplate()；（2）图像直方图： cv2.calcHist()；（3）图像均衡化： cv2.equalizeHist()；（4）自适应均衡化： cv2.createCLAHE()

---

1. 模板匹配

模板匹配和卷积的原理很像，模板在原图像上从原点开始滑动(从左到右, 从上到下)，计算模板与（图像被模板覆盖的地方）的差别程度，在opencv中计算差别程度有6种计算方法。然后将每次计算结果放入一个矩阵里，作为输出结果。假如原图形是A*B大小，而模板是a*b大小，则输出结果的矩阵大小是(A-a+1)*(B-b+1)

匹配方法：

cv2.matchTemplate(img, templ, method)

参数：

img： 原始图像

temple： 模板图像

method： 匹配度计算方法，如下：

cv2.TM_SQDIFF： 计算平方差，计算结果越小，越相关

cv2.TM_CCORR： 计算相关性，计算出来的值越大，越相关

cv2.TM_CCOEFF： 计算相关系数，计算出的值越大，越相关

cv2.TM_SQDIFF_NORMED： 计算归一化平方差，计算结果越接近0，越相关

cv2.TM_CCORR_NORMED： 计算归一化相关性，计算结果越接近1，越相关

cv2.TM_CCOEFF_NORMED： 计算归一化相关系数，计算结果越接近1，越相关

---

在开始前我们先导入需要用的库函和图像，定义一个图像显示函数，方便后续操作

import cv2
import numpy as np
import matplotlib.pyplot as plt
# 获取图片所在文件夹
filepath = 'C:\\...\\opencv\\img'
# 获取文件夹中的某一张图片，0代表转化灰度图
img = cv2.imread(filepath+'\\team.jpg',0)
# 原图上的一块模板
template = cv2.imread(filepath+'\\face.jpg',0)
# 定义绘图函数
def cv_show(name,img):
    cv2.imshow(name,img)  # 传入自定义图像名，和图像变量
    cv2.waitKey(0)   # 图片不会自动消失
    cv2.destroyWindow()   # 手动关闭窗口
# 显示图像
cv_show('img',img)
cv_show('face',template)

我们需要在第一张图img中找到模板face的位置，并把它框出来

 

---

1.1 匹配单个对象 

模板在原图像上移动时，返回匹配度最高的一块区域。这里使用v2.TM_SQDIFF平方差计算方法，值越小代表匹配度越高。res中保存所有的计算结果，使用cv2.minMaxLoc()函数，获取res中的最值及最值最在的坐标位置，最值坐标是指左上角坐标(x, y)，根据坐标位置和模板的宽和高，可以在原图像中画出目标所在位置。x轴向右为正，y轴向下为正，获得目标右下角坐标(x+w, y+h)。注意在template.shape中提取模板尺寸的时候，shape[0]保存的是高，shape[1]保存的是宽。

#（1）匹配单个对象
# img代表原始图像，template代表模板窗口，1默认为cv2.TM_SQDIFF方法
res = cv2.matchTemplate(img, template, 1) 
# 获取结果的最值和最值位置
min_val,max_val,min_loc,max_loc = cv2.minMaxLoc(res)
# 最值位置是左上角的坐标位置，通过模板的宽和高可以在原图上把模板位置画出来
h,w = template.shape  # shape值是(高,宽)
# 找出右下位置
bottom_loc = (min_loc[0]+w,min_loc[1]+h)
# 复制一份图像，不然画框的时候原图像会变
draw = img.copy()
# 输入图像画板draw，左上坐标，右下坐标
cv2.rectangle(draw,min_loc,bottom_loc,(0,0,255),2)
# 绘图
plt.subplot(121)
plt.imshow(res,cmap='gray')  # 计算出的每一个窗口的结果值
plt.subplot(122)
plt.imshow(draw,cmap='gray') # 在画板上把目标值框出来
plt.tight_layout() #自动排版

左侧是res的图像是模板和整个图像运算后的结果，右侧框出来的是匹配度最高的图像，匹配正确

---

1.2 多目标匹配

设定一个阈值，只要模板和图像运算后的结果大于这个阈值，就将这个区域框出来，不单单识别匹配度最高的，只要满足给定的条件就行。

在这里使用cv2.TM_SQDIFF_NORMED归一化平方差来表明匹配度，只要匹配度小于0.2，就将这个区域选出来。使用np.where()函数来获取所有满足阈值条件的区域的左上角坐标点，需要注意的是，获取的坐标点loc中依次保存的是高和宽，即(y, x)，而我们在画矩形框的时候需要的坐标pt是(x, y)，因此需要把loc的坐标顺序翻转一下。得到左上角坐标(x, y)，右下角坐标(x+w, y+h)

# 导入灰度图
img = cv2.imread(filepath+'\\team.jpg',0)  # 原图
template = cv2.imread(filepath+'\\face.jpg',0)  # 从原图上取下的一块
h,w = template.shape # 获取模板的高和宽
# 图像匹配，使用归一化相关系数
res = cv2.matchTemplate(img,template,cv2.TM_SQDIFF_NORMED)
# 设置阈值，只要计算出的归一化平方差小于0.2就把那一块位置找出来
threshold = 0.2
loc = np.where(res<threshold)  #输出满足条件的坐标
# 绘制所有的满足匹配度的窗口
# zip(*) 可理解为解压，返回二维矩阵式。loc中loc[0]是高，loc[1]是宽，[::-1]表示倒序。p[0]代表宽，p[1]代表高
for pt in zip(*loc[::-1]):  
    bottom_loc = (pt[0]+w,pt[1]+h)
    cv2.rectangle(img,pt,bottom_loc,(0,0,255),1)  # 参数：图像，左上坐标，右下坐标，线条颜色，线条粗细
# 绘图
cv2.imshow('img',img)
cv2.waitKey(0)

线条粗细代表匹配度，中间的可能性最大，(都是同一个人...)

---

2. 图像直方图

同样，我们先导入需要的库，和图像文件，再定义一个图像显示函数

import cv2
import numpy as np
import matplotlib.pyplot as plt
# 获取图片所在文件夹
filepath = 'C:\\...\\opencv\\img'
# 定义绘图函数
def cv_show(name,img):
    # 传入自定义图像名，即图像变量
    cv2.imshow(name,img) 
    # 图片不会自动消失
    cv2.waitKey(0)
    # 手动关闭窗口
    cv2.destroyWindow()

---

2.1 直方图绘制

用于统计图像上每个像素值出现的次数。

（1）方法1：使用matplot绘制直方图

# 导入图像
img = cv2.imread(filepath+'\\mh.jpg',0)  #0代表灰度图 
# 直方图展示
plt.hist(img.ravel(),256)  #ravel将二维拉长成一维，统计0-255每个像素值出现的个数
plt.show()

读入的img是灰度图，只有两个维度，将它变成一维统计像素值出现个数，设置range=[0,256]顾头不顾尾，对0-255每一个像素值计数。

---

（2）方法2：使用cv2.calcHist()函数

cv2.calcHist(img, channels, mask, histsize, ranges)

img：输入图像的图像格式为uint8或float32，当传入函数时，应用中括号，[img]

channels：是用中括号来告知函数绘制图像直方图。如果输入的是灰度图，则值为[0]；如果是彩图，传入的参数可以是[0]或[1]或[2]，分别对应BGR

mask：掩模图像，统计整幅图的直方图就是None。如果画某一部分直方图，需要制作一个掩模图像并使用。掩模大小和img一样的np数组，需要的部分为255，不需要的部分为0.

histSize：BIN的数目。应使用中括号，控制x轴取值区间，一般为256

ranges：使用中括号表示像素值范围[0, 256]顾头不顾尾

下面对彩图img进行直方图统计，不使用掩模，分别统计图像BGR三通道上的各个像素值出现了多少次，使用折线图绘制曲线。hist中保存的是每个通道每个像素值出现的次数。

img = cv2.imread(filepath+'\\mh.jpg')  # 以彩色图为例
color = ['b','g','r']  #分别研究三颜色通道的直方图，用颜色区分
for i,col in enumerate(color):  #enumerate遍历数据对象，返回数据和对应下标
    # i存放color下标，col存放具体值     
    hist = cv2.calcHist([img], [i], None, [256], [0,256])
    plt.plot(hist, color=col, label=f'{col}--channel')  # 绘制三通道上每个通道像素点出现的个数的折线图
    plt.xlim([0,256])
plt.legend()

---

2.2 掩模mask操作

掩模mask的大小和原图像大小一致。掩模中只有两部分，0和255，一部分为白色一部分为黑色。掩模中白色部分覆盖到的区域保留原图，黑色部分覆盖到的区域置为0。

如果我们读入的图像时一张彩图，在构建np数组时，需要舍弃第三个维度，即通道。保留前两个维度img.shape[:2]，掩模的size和原图像相同。由于mask是一个数组，可以使用切片的方法将需要保留的位置变成白色255。

使用图像按位操作方法：cv2.bitwise_and(src1, src2, mask)

src： 输入图像

mask：掩膜，用一副二值化图片对另外一幅图片进行局部的遮

分别统计加了掩模和没加掩模的图像的像素点个数来对比。

img = cv2.imread(filepath+'\\shandi.jpg',0)
# 创建mask，由于如果img是彩图就是三维，舍弃通道取长和宽，创建一个和img相同大小的mask
mask = np.zeros(img.shape[:2],np.uint8)  # 8位无符号整型，0-255
# 使用切片方法，将maks中的一部分变成255白色
mask[200:700,200:700] = 255
# 在图像上覆盖一层掩模
masked_img = cv2.bitwise_and(img,img,mask=mask)
# 直方图统计
hist_full = cv2.calcHist([img],[0],None,[256],[0,256]) # 无掩模
hist_mask = cv2.calcHist([img],[0],mask,[256],[0,256]) # 有掩模
# 绘图
plt.subplot(221),plt.imshow(img,'gray') # 原图，绘制灰度图，不然颜色太杂
plt.subplot(222),plt.imshow(mask,'gray') # 掩模图
plt.subplot(223),plt.imshow(masked_img,'gray')  # 掩模覆盖原图
plt.subplot(224),plt.plot(hist_full,label='non-mask'),plt.plot(hist_mask,label='masked')  #像素值统计
plt.legend()
plt.tight_layout()
plt.show()

---

3. 图像均衡化

图像的直方图是对图像对比度效果上的一种处理，旨在使得图像整体效果均匀。原始图像由于其灰度分布可能集中在较窄的区间，造成图像不够清晰。通过改变图像的直方图，来改变图像中各像素的灰度，用于增强局部的对比度而不影响整体的对比度。这种方法对于背景和前景都太亮或者太暗的图像非常有用。

直方图均衡化的基本原理：对在图像中像素个数多的灰度值（即对画面起主要作用的灰度值）进行展宽，而对像素个数少的灰度值（即对画面不起主要作用的灰度值）进行归并，从而增大对比度，使图像清晰，达到增强的目的。

均衡化函数： cv2.equalizeHist(img)

img：指需要均衡化的原图像，灰度图像。返回值为均衡化后的图像。

---

3.1 对图像整体进行均衡化

# 原图像有些位置的像素值特别多，有的位置很少
img = cv2.imread(filepath+'\\mh1.jpg',0) #0灰度图
plt.hist(img.ravel(),256) #0-255每一个值出现了多少次
plt.show()
# ==2== 均衡化
equ = cv2.equalizeHist(img)
plt.hist(equ.ravel(),256)  # 将均衡化后的图像使用ravel()拉长成一维，计算0-255每个值出现的次数
plt.show
# ==3== 图像展示，整体做均衡化会丢失一些细节
res = np.hstack((img,equ))  # 将两张图组合在一起
cv_show('res',res)

 左图时原始图像的像素直方图，右图是均衡化后的像素直方图

   

左图为原始图像，右图为均衡化之后的图像。我们看出，对整体均衡化之后会大致一下细节的丢失

---

3.2 自适应均衡化

整幅图像会被分成很多小块，然后再对每一个小块分别进行直方图均衡化。缺点是：如果有噪声的话，噪声会被放大。为了避免这种情况的出现要使用对比度限制。对于每个小块来说，如果直方图中的bin超过对比度的上限的话，就把 其中的像素点均匀分散到其他 bins中，然后在进行直方图均衡化。

cv.createCLAHE(clipLimit, tileGridSize)

clipLimit： 颜色对比度限制，默认是40

tileGridSize： 进行像素均衡化的网格大小，默认为8*8

img = cv2.imread(filepath+'\\mh1.jpg',0)
# 设置均衡化参数，对比度阈值为2，网格为3*3
clahe = cv2.createCLAHE(clipLimit=2,tileGridSize=(3,3))
# 生成自适应均衡化后的图像
res_clahe = clahe.apply(img)
# 将三张图象组合在一起看一下区别
res = np.hstack((img,equ,res_clahe))
cv_show('res',res)

第一张是原图，第二张是整体均衡化之后的图像，第三张是自适应均衡化之后的图像