OpenCV最详细入门（二）-python（代码全部可以直接运行）

OpenCV详细入门（基础篇）

一、上篇回顾

在上一篇（OpenCV最详细入门（一）-python（代码全部可以直接运行））中我们学会了使用OpenCV显示图片和视频、更改图片颜色通道、灰度图、滤波、形态学和图像梯度等操作，那么今天我们继续学习一些OpenCV的函数使用。

二、直方图

直方图的横轴表示亮度，从左到右表示亮度从低到高。
直方图的纵轴表示像素数量，从下到上表示像素从少到多。
直方图在某个亮度区间的凸起越高，就表示在这个亮度区间内的像素越多。比如这个直方图的凸起就主要集中在左侧，也就是说这张照片的亮度整体偏低。
直方图分为四个基本类型：RGB直方图、通道直方图、明度直方图和颜色直方图。
绘制直方图的代码如下：

img = cv2.imread('cat.jpg',0) #0表示灰度图
hist = cv2.calcHist([img],[0],None,[256],[0,256])
hist.shape#(256, 1)
plt.hist(img.ravel(),256);
plt.show()

cv2.calcHist(images,channels,mask,histSize,ranges)
images: 原图像图像格式为 uint8 或 float32。当传入函数时应 用中括号 [] 括来例如[img]
channels: 同样用中括号括来它会告函数我们统幅图 像的直方图。如果入图像是灰度图它的值就是 [0]如果是彩色图像 的传入的参数可以是 [0][1][2] 它们分别对应着 BGR。
mask: 掩模图像。统整幅图像的直方图就把它为 None。但是如 果你想统图像某一分的直方图的你就制作一个掩模图像并 使用它。
histSize:BIN 的数目。也应用中括号括来
ranges: 像素值范围常为 [0,256]
可以看出这张图片的灰度颜色大部分接近于180左右。
下面看一下彩色通道的

color=('b','g','r')
for i,col in enumerate(color):
    #histr = cv2.calcHist([img],[i],None,[256],[0,256])
    histr = cv2.calcHist([img],[i],None,[256],[0,256]) 
    plt.plot(histr,color=col)
    plt.xlim([0,256])#x轴的范围

对于mask的说明，mask主要功能是一张图片有时候并不需要统计整张图片而是统计最中间或者做边界的一部分图片，那么我们就可以在参数中加入mask，而原理也是非常的简单，对于选中的部分为1，非选中的部分为0便可。

# 创建mast
mask = np.zeros(img.shape[:2], np.uint8)
print (mask.shape)#(414, 500)
mask[100:300,200:400]=255
plt.imshow(mask,'gray')

img=cv2.imread('cat.jpg',0)
mask_img=cv2.bitwise_and(img,img,mask=mask)#图片之间与操作
plt.imshow(mask_img)

对比一下None和mask的区别

hist_full = cv2.calcHist([img],[0],None,[256],[0,256])
hist_mask=cv2.calcHist([img],[0],mask,[256],[0,256])
plt.subplot(221), plt.imshow(img, 'gray')
plt.subplot(222), plt.imshow(mask, 'gray')
plt.subplot(223), plt.imshow(mask_img, 'gray')
plt.subplot(224), plt.plot(hist_full), plt.plot(hist_mask)
plt.xlim([0, 256])
plt.show()

直方图均衡化

直方图均衡化会使图片突出的地方更加突出，可以增加图片的特征。

计算原理是新灰度值=旧灰度值*累计概率，累计概率=当前灰度值的概率+小于当前灰度值的概率

#均衡化会让图片更加明显
img=cv2.imread('clahe.jpg',0)
plt.imshow(img,'gray')
plt.show()
plt.hist(img.ravel(),256)
plt.show()

equ = cv2.equalizeHist(img) 
plt.hist(equ.ravel(),256)
plt.show()

plt.imshow(img,'gray')
plt.show()
plt.imshow(equ,'gray')
plt.show()

通过对比均衡化之后的图片会发现，均衡化后的图片亮的地方更加亮，暗的地方更加暗，使图片的立体感更加强烈，但是也有着一定的问题，就是上图中的石膏像左半边脸明明是暗亮交替的，但是由于均衡化使得暗的地方都变成亮了，这使得对于石膏像这一部分的立体感减弱了，为了减少这个问题，OpenCV中有一个新的函数cv2.createCLAHE，可以通过将图片网格化分成不同的区域，分别对每个区域进行均衡化，最后再统一去掉边界带来的影响，那么上述说的问题就被解决了。

#自适应直方图均衡化
#clipLimit颜色对比度的阈值， titleGridSize进行像素均衡化的网格大小，即在多少网格下进行直方图的均衡化操作
clahe=cv2.createCLAHE(clipLimit=2.0,tileGridSize=(8,8))
res_clahe=clahe.apply(img)
res=np.hstack((img,equ,res_clahe))
cv2.imshow('res',res)
cv2.waitKey(0)

可以看出，图三的效果最佳，石膏像也更加立体。

三、模板匹配

板匹配和卷积原理很像，模板在原图像上从原点开始滑动，计算模板与（图像被模板覆盖的地方）的差别程度，这个差别程度的计算方法在opencv里有6种，然后将每次计算的结果放入一个矩阵里，作为结果输出。假如原图形是AxB大小，而模板是axb大小，则输出结果的矩阵是(A-a+1)x(B-b+1)

# 模板匹配
img = cv2.imread('dog.jpg', 0)
template = cv2.imread('dog1.jpg', 0)
h, w = template.shape[:2] 
plt.subplot(121),plt.imshow(img,'gray'),plt.title("img")
plt.subplot(122),plt.imshow(template,'gray'),plt.title("template")
plt.show()

res = cv2.matchTemplate(img, template, cv2.TM_SQDIFF)
res.shape#(470, 1722)
img.shape#(815, 1999)
template.shape#(346, 278)
#263-110+1=154
#263-85+1=179

TM_SQDIFF：计算平方不同，计算出来的值越小，越相关
TM_CCORR：计算相关性，计算出来的值越大，越相关
TM_CCOEFF：计算相关系数，计算出来的值越大，越相关
TM_SQDIFF_NORMED：计算归一化平方不同，计算出来的值越接近0，越相关
TM_CCORR_NORMED：计算归一化相关性，计算出来的值越接近1，越相关
TM_CCOEFF_NORMED：计算归一化相关系数，计算出来的值越接近1，越相关
1.result中数据的含义。
模板匹配函数cvMatchTemplate依次计算模板与待测图片的重叠区域的相似度，并将结果存入映射图像result当中，也就是说result图像中的每一个点的值代表了一次相似度比较结果。
2.result的尺寸大小。
如图可知，模板在待测图像上每次在横向或是纵向上移动一个像素，并作一次比较计算，由此，横向比较W-w+1次，纵向比较H-h+1次，从而得到一个（W-w+1）×（H-h+1）维的结果矩阵，result即是用图像来表示这样的矩阵,因而图像result的大小为（W-w+1）×（H-h+1）。
3.如何result中获得最佳匹配区域
使用函数cvMinMaxLoc(result,&min_val,&max_val,&min_loc,&max_loc,NULL);从result中提取最大值（相似度最高）以及最大值的位置（即在result中该最大值max_val的坐标位置max_loc，即模板滑行时左上角的坐标，类似于图中的坐标（x,y）。）
由此得到：rect=cvRect(max_loc.x,max_loc.y,tmp->width,tmp->height);rect表示的矩形区域即是最佳的匹配区域。

img_rgb=cv2.imread("mario.jpg")
img_gray=cv2.cvtColor(img_rgb,cv2.COLOR_BGR2GRAY)
template=cv2.imread('mario_coin.jpg',0)
h,w=template.shape[:2]
res=cv2.matchTemplate(img_gray,template,cv2.TM_CCOEFF_NORMED)
threshold=0.8
loc=np.where(res>=threshold)
for pt in zip(*loc[::-1]):
    bottom_right=(pt[0]+w,pt[1]+h)
    cv2.rectangle(img_rgb,pt,bottom_right,(255,255,0),2)
cv2.imshow("img_rgb",img_rgb)
cv2.waitKey(0)

四、傅里叶变换

我们生活在时间的世界中，早上7:00起来吃早饭，8:00去挤地铁，9:00开始上班。。。以时间为参照就是时域分析。
但是在频域中一切都是静止的！
傅里叶分析之掐死教程（完整版）
傅里叶变换的作用
高频：变化剧烈的灰度分量，例如边界。
低频：变化缓慢的灰度分量，例如一片大海。
滤波
低通滤波器：只保留低频，会使得图像模糊。
高通滤波器：只保留高频，会使得图像细节增强。
opencv中主要就是cv2.dft()和cv2.idft()，输入图像需要先转换成np.float32 格式。
得到的结果中频率为0的部分会在左上角，通常要转换到中心位置，可以通过shift变换来实现。
cv2.dft()返回的结果是双通道的（实部，虚部），通常还需要转换成图像格式才能展示（0,255）。

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('lena.jpg',0)

img_float32 = np.float32(img)

dft = cv2.dft(img_float32, flags = cv2.DFT_COMPLEX_OUTPUT)
dft_shift = np.fft.fftshift(dft)
# 得到灰度图能表示的形式
magnitude_spectrum = 20*np.log(cv2.magnitude(dft_shift[:,:,0],dft_shift[:,:,1]))

plt.subplot(121),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(magnitude_spectrum, cmap = 'gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
plt.show()

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('lena.jpg',0)

img_float32 = np.float32(img)

dft = cv2.dft(img_float32, flags = cv2.DFT_COMPLEX_OUTPUT)
dft_shift = np.fft.fftshift(dft)

rows, cols = img.shape
crow, ccol = int(rows/2) , int(cols/2)     # 中心位置

# 低通滤波
mask = np.zeros((rows, cols, 2), np.uint8)
mask[crow-30:crow+30, ccol-30:ccol+30] = 1

# IDFT
fshift = dft_shift*mask
f_ishift = np.fft.ifftshift(fshift)
img_back = cv2.idft(f_ishift)
img_back = cv2.magnitude(img_back[:,:,0],img_back[:,:,1])

plt.subplot(121),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(img_back, cmap = 'gray')
plt.title('Result'), plt.xticks([]), plt.yticks([])

plt.show()                

img = cv2.imread('lena.jpg',0)

img_float32 = np.float32(img)

dft = cv2.dft(img_float32, flags = cv2.DFT_COMPLEX_OUTPUT)
dft_shift = np.fft.fftshift(dft)

rows, cols = img.shape
crow, ccol = int(rows/2) , int(cols/2)     # 中心位置

# 高通滤波
mask = np.ones((rows, cols, 2), np.uint8)
mask[crow-30:crow+30, ccol-30:ccol+30] = 0

# IDFT
fshift = dft_shift*mask
f_ishift = np.fft.ifftshift(fshift)
img_back = cv2.idft(f_ishift)
img_back = cv2.magnitude(img_back[:,:,0],img_back[:,:,1])

plt.subplot(121),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(img_back, cmap = 'gray')
plt.title('Result'), plt.xticks([]), plt.yticks([])

plt.show()    

五、小结

在本次中学到了直方图、均衡化、模板匹配和傅里叶变换等最为重要的图像处理的知识，通过模板匹配的学习我们可以进行简单的图像识别相关的项目。