OpenCV-Python接口-1图像进阶

mlf2051288062

已于 2023-07-26 09:37:23 修改

阅读量203

点赞数

分类专栏： OpenCV 文章标签： opencv

于 2023-07-25 10:24:21 首次发布

本文链接：https://blog.csdn.net/mlf2051288062/article/details/131801266

版权

OpenCV 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

编译环境，ubuntu22.04，VS code，Python3.10

一、画图库matplotlib.pyplot的使用

常用函数进行图像的可视化，基本绘图流程

plt.plot(x, y, format_string, **kwargs)
x轴数据，y轴数据，format_string控制曲线的格式字串

plt.xlim([0,256])

设置坐标轴属性

plt.imshow( )

函数负责对图像进行处理，并显示其格式，但是不能显示。它有一个 cmap 参数，用于控制图像显示色彩，对于 RGB 或 RGBA 图像忽略该参数，即直接显示原图。而对于单通道的灰度图像，默认色彩是viridis（翠绿），设置 cmap 参数为gray，才可正确显示灰度图像。

其后plt.show( )用于显示。

如果需要展示读入的图像，或者展示对读入图像进行一系列操作后的图像时，使用cv2.imshow()。如果不需要展示原始图像，而是绘制一张新的图像，使用plt.imshow()。

但其实两者都可以，需要注意的是opencv是BGR通道，matplotlib.pyplot 默认RGB通道。

若使用cv2.imread()读入图像，用plt.imshow()展示原始图像或者展示对读入图像进行一系列操作后的图像时，需要进行通道转换。

二、直方图

直方图的横轴表示亮度，从左到右表示亮度从低到高。
直方图的纵轴表示像素数量，从下到上表示像素从少到多。
直方图在某个亮度区间的凸起越高，就表示在这个亮度区间内的像素越多。比如这个直方图的凸起就主要集中在左侧，也就是说这张照片的亮度整体偏低。
直方图分为四个基本类型：RGB直方图、通道直方图、明度直方图和颜色直方图。

1.绘制直方图

hist = cv2.calcHist(images,channels,mask,histSize,ranges)
images: 原图像图像格式为 uint8 或 ﬂoat32，传入函数时应用中括号 [] 修饰，例如[img]。
channels: 同样用中括号修饰，告诉函数何种图像的直方图。如果传入图像是灰度图值就是 [0]，如果是彩色图像，参数可以是 [0][1][2] ，分别对应着 BGR。
mask: 掩模图像，统计整幅图像的直方图就设为 None。如果统计图像某一部分的直方图就需要制作一个掩模图像。
histSize:BIN 的数目，也用中括号修饰。
ranges: 像素值范围为 [0,256]

返回值hist是一个256*1的矩阵，每一个值代表了每个灰度值对应的像素点数目

plt.hist(src,pixels)

src:数据源，注意这里只能传入一维数组，使用src.ravel()可以将二维图像拉平为一维数组。

pixels:像素级，一般输入256。

灰度直方图彩色通道直方图

对于参数mask的说明，mask主要功能是一张图片有时候并不需要统计整张图片而是统计最中间或者做边界的一部分图片，那么就可以在参数中加入mask，而原理也是非常的简单，选中的部分为255，非选中的部分为0。

cv2.bitwise_and(iamge,image,mask=mask)

RGB图像提取掩膜选定的区域

创建形状大小相同的掩膜图像，将两个图像合并，做与运算

import cv2                           #opencv读取的格式是BGR
import matplotlib.pyplot as plt
import numpy as np 



# 定义了一个基于CV库的图像显示函数，
# 其中imshow()为显示函数，显示通道是B,G,R
# waitKey(0)为无限时间的显示函数，如果改为参数1就是显示1ms以此类推，
# destroyAllWindows()按下任意键便可关闭窗口。
def cv_show(name, img, i = 0):
    cv2.imshow(name, img) 
    cv2.waitKey(i*1000) 
    cv2.destroyAllWindows()

# 定义了一个基于matplotlib.pyplot库的图像显示函数，
# 其中plt.imshow()为图像显示格式处理函数，
# plt.show()将图像显示,显示通道是R,G,B
def plt_show(img):
    plt.imshow(img)
    plt.show()



#绘制灰度图的直方图
img = cv2.imread('cat.jpg', 0)           #0表示灰度图
hist = cv2.calcHist([img], [0], None, [256], [0,256]) 
#print(hist.shape)
#绘制直方图                            
# plt.hist(img.ravel(), 256)
plt.plot(hist)
plt.xlim([0,256]) 
#plt.show()



# 绘制彩色通道直方图
img = cv2.imread('cat.jpg') 
#cv_show("img", img)
# plt.imshow(img)
# plt.show() 
color = ('b','g','r')
#枚举元素,返回的是元素及对应的索引
for i, col in enumerate(color):       
    histr = cv2.calcHist([img],[i], None,[256], [0,256]) 
    plt.plot(histr, color = col) 
    plt.xlim([0,256]) 
    #print(i, col)
plt.show()   
     


img = cv2.imread('cat.jpg') 
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
# 创建mask掩模图像
#返回一个指定形状和类型的全零数组,img.shape[:2]获取彩色图片的高、宽
mask = np.zeros(img.shape[:2], np.uint8)
print(mask.shape)                      #(381, 482)
mask[100:300,200:400] = 255
plt.imshow(mask, 'gray')
plt.show()

#图片之间与操作
mask_img = cv2.bitwise_and(img, img, mask=mask)
plt.imshow(mask_img, 'gray')
plt.show()

#对比一下None和mask的区别
hist_full = cv2.calcHist([img],[0],None,[256],[0,256])
hist_mask = cv2.calcHist([img],[0],mask,[256],[0,256])
plt.subplot(221), plt.imshow(img)
plt.subplot(222), plt.imshow(mask, 'gray')
plt.subplot(223), plt.imshow(mask_img)
plt.subplot(224), plt.plot(hist_full), plt.plot(hist_mask)
plt.xlim([0, 256])
plt.show()

2.直方图均衡化

直方图均衡化会使图片突出的地方更加突出，可以增加图片的特征。计算原理是新灰度值=旧灰度值*累计概率，累计概率=当前灰度值的概率+小于当前灰度值的概率

通过对比均衡化之后的图片会发现，均衡化后的图片亮的地方更加亮，暗的地方更加暗，使图片的立体感更加强烈，但是也有着一定的问题，就是上图中的石膏像左半边脸明明是暗亮交替的，但是由于均衡化使得暗的地方都变成亮了，这使得对于石膏像这一部分的立体感减弱了，为了减少这个问题，OpenCV中有一个新的函数cv2.createCLAHE，可以通过将图片网格化分成不同的区域，分别对每个区域进行均衡化，最后再统一去掉边界带来的影响，那么上述说的问题就被解决了。

可以看出，图三的效果最佳，石膏像也更加立体。

# 直方图均衡化
#直方图均衡化会让图片更加明显
#读入灰度图像
img = cv2.imread('/home/meta/Pictures/Screenshots/shufang.jpg', 0)     
plt.imshow(img, 'gray')
plt.show()
plt.subplot(121), plt.hist(img.ravel(), 256)

equ = cv2.equalizeHist(img) 
plt.subplot(122), plt.hist(equ.ravel(), 256)
plt.show()

res = np.hstack((img, equ))
cv_show('res', res)


#自适应直方图均衡化
#clipLimit颜色对比度的阈值， titleGridSize进行像素均衡化的网格大小，即在多少网格下进行直方图的均衡化操作
clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8))
res_clahe = clahe.apply(img)
res = np.hstack((img, equ, res_clahe))
cv_show('res', res)

三、模板匹配

模板匹配和卷积原理很像，模板在原图像上从原点开始滑动，计算模板与（图像被模板覆盖的地方）的差别程度，这个差别程度的计算方法在opencv里有6种，然后将每次计算的结果放入一个矩阵里，作为结果输出。

假如原图形是AxB大小，而模板是axb大小，则输出结果的矩阵是(A-a+1)x(B-b+1)

res = cv2.matchTemplate(image, templ, method, result=None, mask=None)
模板匹配函数，返回的是矩阵，image:待搜索图像，templ:模板图像，result:匹配结果，method:计算匹配程度的方法，主要有下面几种：

TM_SQDIFF：计算平方不同，计算出来的值越小，越相关
TM_CCORR：计算相关性，计算出来的值越大，越相关
TM_CCOEFF：计算相关系数，计算出来的值越大，越相关
TM_SQDIFF_NORMED：计算归一化平方不同，计算出来的值越接近0，越相关
TM_CCORR_NORMED：计算归一化相关性，计算出来的值越接近1，越相关
TM_CCOEFF_NORMED：计算归一化相关系数，计算出来的值越接近1，越相关

1.result中数据的含义
模板匹配函数cvMatchTemplate依次计算模板与待测图片的重叠区域的相似度，并将结果存入映射图像result当中，也就是说result图像中的每一个点的值代表了一次相似度比较结果。
2.result的尺寸大小
如图可知，模板在待测图像上每次在横向或是纵向上移动一个像素，并作一次比较计算，由此，横向比较W-w+1次，纵向比较H-h+1次，从而得到一个（W-w+1）×（H-h+1）维的结果矩阵，result即是用图像来表示这样的矩阵,因而图像result的大小为（W-w+1）×（H-h+1）。
3.如何从result中获得最佳匹配区域
使用函数cvMinMaxLoc(result,&min_val,&max_val,&min_loc,&max_loc,NULL);从result中提取最大值（相似度最高）以及最大值的位置（即在result中该最大值max_val的坐标位置max_loc，即模板滑行时左上角的坐标，类似于图中的坐标（x,y）。）
由此得到：rect = cvRect(max_loc.x, max_loc.y, tmp->width, tmp->height); rect表示的矩形区域即是最佳的匹配区域。

import cv2                           #opencv读取的格式是BGR
import matplotlib.pyplot as plt
import numpy as np 



# 定义了一个基于CV库的图像显示函数，
# 其中imshow()为显示函数，显示通道是B,G,R
# waitKey(0)为无限时间的显示函数，如果改为参数1就是显示1ms以此类推，
# destroyAllWindows()按下任意键便可关闭窗口。
def cv_show(name, img, i = 0):
    cv2.imshow(name, img) 
    cv2.waitKey(i*1000) 
    cv2.destroyAllWindows()

# 定义了一个基于matplotlib.pyplot库的图像显示函数，
# 其中plt.imshow()为图像显示格式处理函数，
# plt.show()将图像显示,显示通道是R,G,B
def plt_show(img):
    plt.imshow(img)
    plt.show()


# 模板匹配
img = cv2.imread('/home/meta/Pictures/Screenshots/dog.png', 0)
template = cv2.imread('/home/meta/Pictures/Screenshots/dog1.png', 0)
h, w = template.shape[:2] 
plt.subplot(121), plt.imshow(img,'gray'), plt.title("img")
plt.subplot(122), plt.imshow(template,'gray'), plt.title("template")
plt.show()
#目标匹配函数,返回的是相似度矩阵
res = cv2.matchTemplate(img, template, cv2.TM_SQDIFF)
res.shape       #(470, 1722)
img.shape       #(815, 1999)
template.shape  #(346, 278)
#263-110+1=154
#263-85+1=179



img_rgb = cv2.imread('/home/meta/Pictures/Screenshots/mario.png')
img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
template = cv2.imread('/home/meta/Pictures/Screenshots/mario_coin.png', 0)
h, w = template.shape[:2]
#目标匹配函数,返回的是相似度矩阵
res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
threshold = 0.75
#where内只有一个参数时，那个参数表示条件，
#当条件成立时，where返回的是每个符合条件元素的坐标,返回的是以元组的形式
loc = np.where(res >= threshold)
# print(loc)
# print("***********\n")
# print(*loc[::-1])
#for多变量循环zip()函数将两个列表对应的元素打包成一个个元组
for pt in zip(*loc[::-1]):
    bottom_right = (pt[0] + w, pt[1] + h)
    #在图像上绘制一个简单的矩形
    cv2.rectangle(img_rgb, pt, bottom_right, (255,255,0), 2)
#cv_show("img_rgb", img_rgb)

四、傅里叶变换

而贯穿时域与频域的方法之一，就是传中说的傅里叶分析。傅里叶分析可分为傅里叶级数（Fourier Serie）和傅里叶变换(Fourier Transformation)

傅里叶变换的作用
高频：变化剧烈的灰度分量，例如边界。
低频：变化缓慢的灰度分量，例如一片大海。
滤波
低通滤波器：只保留低频，会使得图像模糊。
高通滤波器：只保留高频，会使得图像细节增强。
opencv中主要就是cv2.dft()和cv2.idft()，输入图像需要先转换成np.float32 格式。
得到的结果中频率为0的部分会在左上角，通常要转换到中心位置，可以通过shift变换来实现。
cv2.dft()返回的结果是双通道的（实部，虚部），通常还需要转换成图像格式才能展示（0,255）。

#-------------傅里叶变换

img = cv2.imread('/home/meta/Pictures/Screenshots/lena.jpg', 0)
#输入图像需要先转换成np.float32格式
img_float32 = np.float32(img)
#openCV中的傅里叶变换函数
#dft函数的输出结果是双通道的，第一个参数是结果的实数部分，第二个是结果的虚数部分
dft = cv2.dft(img_float32, flags = cv2.DFT_COMPLEX_OUTPUT)
#将FFT输出中的直流分量(零频率分量)移动到频谱中央
dft_shift = np.fft.fftshift(dft)
# 傅里叶变换得到的结果是一个复数数组，不能直接用于显示图像，要想得到频谱灰度图像，
# 需要一个映射，把复数映射[0, 255]之间.得到灰度图能表示的形式
# 计算二维矢量的幅值：magnitude()函数
# 自然对数 
magnitude_spectrum = 20*np.log(cv2.magnitude(dft_shift[:,:,0], dft_shift[:,:,1]))

plt.subplot(121),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(magnitude_spectrum, cmap = 'gray')
plt.title('Magnitude Spectrum'), plt.xticks([]), plt.yticks([])
# 左边为原始灰度图像，右边为频率分布图谱，其越靠近中心位置频率越低，
# 灰度值越高亮度越亮的中心位置代表该频率的信号振幅越大。
plt.show()


#----傅里叶逆变换

#低通滤波后,傅里叶逆变换,还原图像
img = cv2.imread('/home/meta/Pictures/Screenshots/lena.jpg', 0)
img_float32 = np.float32(img)

dft = cv2.dft(img_float32, flags = cv2.DFT_COMPLEX_OUTPUT)
dft_shift = np.fft.fftshift(dft)

# 图像中心位置
rows, cols = img.shape
crow, ccol = int(rows/2) , int(cols/2)     

# 低通滤波,创建一个掩膜版
mask = np.zeros((rows, cols, 2), np.uint8)
mask[crow-30:crow+30, ccol-30:ccol+30] = 1

# IDFT傅里叶逆变换
fshift = dft_shift*mask
f_ishift = np.fft.ifftshift(fshift)
img_back = cv2.idft(f_ishift)
img_back = cv2.magnitude(img_back[:,:,0], img_back[:,:,1])

plt.subplot(121),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(img_back, cmap = 'gray')
plt.title('Result'), plt.xticks([]), plt.yticks([])
#左侧是原始图像，右侧是还原图像
plt.show()    


#低通滤波后,傅里叶逆变换,还原图像
img = cv2.imread('/home/meta/Pictures/Screenshots/lena.jpg', 0)
img_float32 = np.float32(img)

dft = cv2.dft(img_float32, flags = cv2.DFT_COMPLEX_OUTPUT)
dft_shift = np.fft.fftshift(dft)

# 图像中心位置
rows, cols = img.shape
crow, ccol = int(rows/2) , int(cols/2)     

# 高通滤波,创建一个掩膜版
mask = np.ones((rows, cols, 2), np.uint8)
mask[crow-30:crow+30, ccol-30:ccol+30] = 0

# IDFT
fshift = dft_shift*mask
f_ishift = np.fft.ifftshift(fshift)
img_back = cv2.idft(f_ishift)
img_back = cv2.magnitude(img_back[:,:,0], img_back[:,:,1])

plt.subplot(121),plt.imshow(img, cmap = 'gray')
plt.title('Input Image'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(img_back, cmap = 'gray')
plt.title('Result'), plt.xticks([]), plt.yticks([])

plt.show()