以下笔记来源:
[1] . 《pytorch深度学习实战》
深度学习中图像处理函数的总结:
图像处理包括滤波,变换,图像插值,旋转,仿射,形态学的处理。一般我们常用的图像处理库有opencv,scipy,sickit,pillow等,其中opencv功能之强大,opencv-python的安装请查看:https://blog.csdn.net/qq_41997920/article/details/88741763
1.热点图
numpy.histogram2d() 可以在地图图片的网格中统计二维散列点的频度。
2 . 高斯滤波
高斯滤波是一种线性平滑滤波,适用于消除高斯噪声,广泛应用于图像处理的减噪过程。高斯滤波在图像处理概念下,将图像频域处理和时域处理相联系,作为低通滤波器使用,可以将低频能量(比如噪声)滤去,起到图像平滑作用。
import cv2
#两个回调函数
def GaussianBlurSize(GaussianBlur_size):
global KSIZE
KSIZE = GaussianBlur_size * 2 +3
print KSIZE, SIGMA
dst = cv2.GaussianBlur(scr, (KSIZE,KSIZE), SIGMA, KSIZE)
cv2.imshow(window_name,dst)
3 . 图片翻转
openCv2 提供图像的翻转函数 getRotationMatrix2D 和 warpAffine
from __future__ import print_function
import os
import struct
import math
import numpy as np
import cv2
def rotate(img,angle):
height = img.shape[0]
width = img.shape[1]
if angle%180 ==0:
scale = 1
elif angle%90 ==0:
scale = float(max(height,width))/min(height,width)
else:
scale = math.sqrt(pow(height,2)+pow(width,2))/min(height,width)
#print 'scale %f\n' %scale
rotateMat = cv2.getRotationMatrix2D((width/2,height/2),angle,scale)
rotateImg = cv2.warpAffine(img,rotateMat,(width,height))
return rotateImg
image = cv2.imread("images\eye.jpg")
dst = rotate(image,60)
cv2.imshow("image1",image)
cv2.imshow("image2",dst)
cv2.waitKey()
4.轮廓检测
OpenCV2使用findContours()函数来查找检测物体的轮廓。
import cv2
img = cv2.imread('image/contour.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
ret, binary = cv2.threshold(gray,127,255,cv2.THRESH_BINARY)
contours, hierarchy = cv2.findContours(binary,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img,contours,-1,(0,0,255),3)
cv2.imshow("img", img)
cv2.waitKey(0)
注:注意的是 cv2.findContours() 函数接受的参数为二值图,即黑白的(不是灰度图),所以读取的图像要先转成灰度的,再转成二值图。
5.角点
角点的定义和特性:
- 角点:是一类含有足够信息且能从当前帧和下一帧中都能提取出来的点。最普遍使用的角点的定义是由 Harris 提出的。
典型的角点检测算法:Harris 角点检测、CSS 角点检测。
好的角点检测算法的特点:
1、检测出图像中“真实的”角点;
2、准确的定位性能;
3、很高的重复检测率(稳定性好);
4、具有对噪声的鲁棒性;
5、具有较高的计算效率。
Open 中的函数 cv2.cornerHarris(src, blockSize, ksize, k[, dst[,borderType]]) → dst 可以用来进行角点检测。参数如下:
- src – 数据类型为 float32 的输入图像。
- dst – 存储角点数组的输出图像,和输入图像大小相等。
- blockSize – 角点检测中要考虑的领域大小。
- ksize – Sobel 求导中使用的窗口大小。
- k – Harris 角点检测方程中的自由参数,取值参数为 [0,04,0.06]。
- borderType – 边界类型。
# coding=utf-8
import cv2
import numpy as np
'''Harris算法角点特征提取'''
img = cv2.imread('chess_board.png')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
gray = np.float32(gray)
# {标记点大小,敏感度(3~31,越小越敏感)}
# OpenCV函数cv2.cornerHarris() 有四个参数 其作用分别为 :
dst = cv2.cornerHarris(gray,2,23,0.04)
img[dst>0.01 * dst.max()] = [0,0,255]
cv2.imshow('corners',img)
cv2.waitKey()
cv2.destroyAllWindows()
6.直方图
OpenCV 给我们提供的函数是 cv2.calcHist(),该函数有 5 个参数:
- image:输入图像,传入时应该用中括号[]括起来。
- channels:传入图像的通道,如果是灰度图像,那就不用说了,只有一个通道,值为 0,如果是彩色图像(有 3 个通道),那么值为0,1,2 中选择一个,对应着 BGR 各个通道。这个值也得用 [] 传入。
- mask:掩膜图像。如果统计整幅图,那么为 none。主要是如果要统计部分图的直方图,就得构造相应的炎掩膜来计算。
- histSize:灰度级的个数,需要中括号,比如 [256]。
- ranges:像素值的范围,通常 [0,256],有的图像如果不是 0-256,比如说你来回各种变换导致像素值负值、很大,则需要调整后才可以。
import cv2
import numpy as np
import matplotlib.pyplot as plt
img = cv2.imread('flower.jpg',0) #直接读为灰度图像
#opencv方法读取-cv2.calcHist(速度最快)
#图像,通道[0]-灰度图,掩膜-无,灰度级,像素范围
hist_cv = cv2.calcHist([img],[0],None,[256],[0,256])
#numpy方法读取-np.histogram()
hist_np,bins = np.histogram(img.ravel(),256,[0,256])
#numpy的另一种方法读取-np.bincount()(速度=10倍法2)
hist_np2 = np.bincount(img.ravel(),minlength=256)
plt.subplot(221),plt.imshow(img,'gray')
plt.subplot(222),plt.plot(hist_cv)
plt.subplot(223),plt.plot(hist_np)
plt.subplot(224),plt.plot(hist_np2)
直方图函数中掩膜的使用:掩膜就是一个区域大小,表示你接下来的直方图统计就是这个区域的像素统计
import cv2
import numpy as np
import matplotlib.pyplot as plt
img = cv2.imread('flower.jpg',0) #直接读为灰度图像
mask = np.zeros(img.shape[:2],np.uint8)
mask[100:200,100:200] = 255
masked_img = cv2.bitwise_and(img,img,mask=mask)
#opencv方法读取-cv2.calcHist(速度最快)
#图像,通道[0]-灰度图,掩膜-无,灰度级,像素范围
hist_full = cv2.calcHist([img],[0],None,[256],[0,256])
hist_mask = cv2.calcHist([img],[0],mask,[256],[0,256])
plt.subplot(221),plt.imshow(img,'gray')
plt.subplot(222),plt.imshow(mask,'gray')
plt.subplot(223),plt.imshow(masked_img,'gray')
plt.subplot(224),plt.plot(hist_full),plt.plot(hist_mask)
7.视频抽取图片
#视频中抽取图片
import cv2
cap = cv2.VideoCapture("images/test.mp4")
success,frame = cap.read()
index = 1
while success :
index = index+1
cv2.imwrite(str(index)+".png",frame)
if index >20:
break;
success,frame = cap.read()
cap.release()
8.形态学处理
morphology 模块实现二值图像处理。二值图像中的每个像素的颜色只有两种:黑色和白色,在 NumPy 中可以用二维布尔数组表示:False 表示黑色,True 表示白色。也可以用无符号单字节整型 (uint8) 数组表示:0 表示黑色,非 0 表示白色。
#二值图像处理
import numpy as np
import matplotlib.pyplot as plt
import cv2
def expand_image(img ,value,out=None,size=10):
if out is None:
w,h = img.shape
out = np.zeros((w*size,h*size),dtype = np.uint8)
tmp = np.repeat(np.repeat(img,size,0),size,1)
out[:,:] = np.where(tmp,value,out)
out[::size,:] = 0
out[:,::size] = 0
return out
def show_image(*imgs):
for idx ,img in enumerate(imgs,1):
ax = plt.subplot(1,len(imgs),idx)
plt.imshow(img,cmap="gray")
ax.set_axis_off()
plt.subplots_adjust(0.02,0,0.98,1,0.02,0)
plt.show()
9.膨胀和腐蚀
#膨胀和腐蚀
from scipy.ndimage import morphology
import matplotlib.pyplot as plt
import numpy as np
import cv2
def dilation_demo(a, structure=None):
b = morphology.binary_dilation(a, structure)
img = expand_image(a, 255)
return expand_image(np.logical_xor(a,b), 150, out=img)
def expand_image(img ,value,out=None,size=10):
if out is None:
w,h = img.shape
out = np.zeros((w*size,h*size),dtype = np.uint8)
tmp = np.repeat(np.repeat(img,size,0),size,1)
out[:,:] = np.where(tmp,value,out)
out[::size,:] = 0
out[:,::size] = 0
return out
def show_image(*imgs):
for idx ,img in enumerate(imgs,1):
ax = plt.subplot(1,len(imgs),idx)
plt.imshow(img,cmap="gray")
ax.set_axis_off()
a = plt.imread("images\eye.jpg")[:,:,0].astype(np.uint8)
img1 = expand_image(a, 255)
img2 = dilation_demo(a)
img3 = dilation_demo(a, [[1,1,1],[1,1,1],[1,1,1]])
show_image(img1, img2, img3)