记录一下我的图像处理学习路线，后续有其他想法了再补充。
目录
1.图像处理基础知识
1.1 数字图像处理公开课
https://www.bilibili.com/video/BV157411J7H8?from=search&seid=11616479247431589441
https://www.bilibili.com/video/BV1Kh411X7Qv?p=1
看完上面的东西，了解基础概念，准备在之后真正操作时，再慢慢消化。
2.利用opencv进行实现
2.1 在pycharm里安装opencv库。
2.2 图像处理基础操作
2.2.1 读取图片
import cv2
img = cv2.imread("F:/picture/cat.jpg", cv2.IMREAD_GRAYSCALE)
cv2.namedWindow("mypicture")
cv2.imshow("mypicture", img)
cv2.waitKey(0)
cv2.destroyAllWindows()先要准备一张图片放在你的路径中，然后imread(“路径”，读取方式)根据自己需要来调整，pycharm自动补全的提示里也有，可以都试试。这里我后面写的_GRAYSCALE 是以灰度图的方式读取出来。
输出结果：
2.2.2 将图片转换成自己想要的大小
因为想要把图片转换成自己想要的标准格式，所以需要重新定义大小，这里我们要用到resize函数，将其转换成100*100 的格式。这里参考这一篇resize参数详解。https://blog.csdn.net/weixin_40922744/article/details/103395227
这里采用默认的双线性插值。
size = (100, 100)
myImg = cv2.resize(img, size, interpolation=cv2.INTER_LINEAR)
cv2.namedWindow("my resize picture")
cv2.imshow("my resize picture", myImg)
cv2.waitKey(0)
cv2.destroyAllWindows()输出结果：
2.2.3 输出图片矩阵
可以直接print出来，因为将图片在imread时就已经是用灰度图的格式打开的，所以直接输出就是图片的灰度矩阵
size = (100, 100)
myImg = cv2.resize(img, size, interpolation=cv2.INTER_LINEAR)
cv2.namedWindow("my resize picture")
cv2.imshow("my resize picture", myImg)
print(myImg) # 添加的 输出图片灰度矩阵
cv2.waitKey(0)
cv2.destroyAllWindows()输出结果：
[[ 88 82 83 ... 61 62 97]
[ 82 82 75 ... 62 79 115]
[ 85 85 84 ... 79 109 134]
...
[238 220 233 ... 89 87 90]
[227 210 234 ... 120 135 124]
[220 228 228 ... 120 107 110]]2.2.4 绘制灰度直方图
如果看了图像处理的基础课程会知道，因为在进行图像分割时需要有一个灰度的阈值，所以我们需要通过绘制灰度直方图来找到这个阈值（即灰度直方图的波谷）。
import matplotlib.pyplot as plt #导入绘图工具
plt.rcParams['font.sans-serif'] = ['SimHei'] #显示中文
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
width = 100 #要转换的宽度
length = 100#要转换的长度
size = (width, length)
myImg = cv2.resize(img, size, interpolation=cv2.INTER_LINEAR) #将之前的图片转换成设置的大小
cv2.namedWindow("my resize picture")
cv2.imshow("my resize picture", myImg) #展示转换后的图像
# 绘制直方图
#1 准备数据
x = range(255)#横轴显示图像的灰度等级0-255
y = range(width*length)# y轴是灰度的个数 width*length
num = [] #num元组声明，每个灰度对应的个数
imgGray = myImg.flatten()#把图像灰度数据由矩阵拉平成一行的形式
for i in x:#从灰度0-255开始轮流查有多少个，每个灰度遍历
t = 0 #每个灰度级像素个数统计用的临时变量，检测下一个灰度级时置零。
for j in y: #每个像素遍历
if imgGray[j] == i:#如果这个位置的灰度等于当前要检索的灰度级
t = t+1 #那么当前灰度级的个数+1
num.append(t) #将查出来的每个灰度级的个数添加到灰度统计数组中
#2 设置画布大小
plt.figure(figsize=(12, 8), dpi=80)
plt.plot(x, num)
#3 设置刻度及步长
z = range(300) #按照检测出的分布，设置图像能显示灰度级的最大值
plt.xticks(x[::20])
plt.yticks(z[::20]) #20是步长，根据自己需要调整
#4 添加网格信息
plt.grid(True, linestyle='--', alpha=0.5) #默认是True，风格设置为虚线，alpha为透明度
#5 添加标题（中文在plt中默认乱码，不乱码的方法就是导入包之后的那两行）
plt.xlabel('灰度级')
plt.ylabel('灰度个数')
plt.title('cat灰度直方图')
#6 保存图片，并展示
plt.savefig('C:/Users/Administrator/Desktop/pic/gray_zhifangtu.png')
plt.show()
cv2.waitKey(0)
cv2.destroyAllWindows()输出结果：
或者使用hinst函数可以直接绘制直方图,具体参考这篇：https://blog.csdn.net/weixin_37988176/article/details/109421535
imgGray = myImg.flatten()#把图像灰度数据拉平
plt.figure("简单方法绘制直方图") #设置直方图的名字
n, bins, patches = plt.hist(imgGray, bins=100, facecolor='green', alpha=0.75)
plt.show()
输出结果：
2.2.5 直方图均衡化
因为直方图是否均衡和视觉效果有着直接的关系，所以可以通过修正直方图来进行图像增强。我们所要做的直方图均衡化就是把直方图弄的平整一些。
#直方图均衡化
imgEqu = cv2.equalizeHist(myImg)
imgEquflat = imgEqu.flatten()#把图像灰度数据拉平
plt.figure("直方图均衡化") #设置直方图的名字
cv2.namedWindow("均衡过的图片")
cv2.imwrite("C:/Users/Administrator/Desktop/pic/imgEqu.png", imgEqu)
cv2.imshow("均衡过的图片", imgEqu)
n, bins, patches = plt.hist(imgEquflat, bins=100, facecolor='green', alpha=0.75)
plt.show()这里跑完一遍发现直方图很怪，输出的图片中间有一块白的，然后我调查了一下发现，原来我在以100 100的大小来resize图片的时候，出了问题。所以我重新resize了一下。
print(img.shape) #打印出图片的尺寸
width, length = img.shape[0:2] #将图片尺寸给宽和长
size = (int(width/2), int(length/2))
myImg = cv2.resize(img, size, interpolation=cv2.INTER_LINEAR)
cv2.namedWindow("my resize picture")
cv2.imwrite("C:/Users/Administrator/Desktop/pic/myImg.png", myImg)
cv2.imshow("my resize picture", myImg)然后resize后的图片和均衡过后的图片对比如下：左边是原始图像灰度化缩小后的，右边是直方图均衡后的图像。
均衡过后的直方图：
2.2.6 空间域增强&滤波
空间滤波器分为平滑滤波器（消除噪声&模糊图像）和锐化滤波器（反差增加，边缘明显）。
这里试一下sobel算子滤波：
#空间域增强
x = cv2.Sobel(imgEqu,cv2.CV_16S,1,0)
y = cv2.Sobel(imgEqu,cv2.CV_16S,0,1)
# 转uint8
absX = cv2.convertScaleAbs(x)
absY = cv2.convertScaleAbs(y)
imgSobel = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']
# 显示图形
titles = [u'原始图像', u'Sobel算子']
images = [imgEqu, imgSobel]
for i in range(2):
plt.subplot(1, 2, i + 1), plt.imshow(images[i], 'gray')
plt.title(titles[i])
plt.xticks([]), plt.yticks([])
plt.show()输出结果：
2.2.7 频域增强&滤波
通过傅里叶变换，将图像由空间域函数转换成频率域函数，然后在频率域对不同频率进行滤波处理，在通过傅里叶逆变换转换成增强后的图像。
低通滤波起平滑图像、消除噪声的作用。
高通滤波起锐化图像、增强细节的作用。
这里试一下butterworth高频增强滤波：
#频域增强
f = np.fft.fft2(imgEqu)
fshift = np.fft.fftshift(f)
# 取绝对值后将复数变化为实数
# 取对数的目的是将数据变换到0~255
s1 = np.log(np.abs(fshift))
def ButterworthPassFilter(image, d, n):
"""
Butterworth 高通滤波器
"""
f = np.fft.fft2(image)
fshift = np.fft.fftshift(f)
def make_transform_matrix(d):
transform_matrix = np.zeros(image.shape)
center_point = tuple(map(lambda x: (x - 1) / 2, s1.shape))
for i in range(transform_matrix.shape[0]):
for j in range(transform_matrix.shape[1]):
def cal_distance(pa, pb):
from math import sqrt
dis = sqrt((pa[0] - pb[0]) ** 2 + (pa[1] - pb[1]) ** 2)
return dis
dis = cal_distance(center_point, (i, j))
transform_matrix[i, j] = 1 / (1 + (dis / d) ** (2 * n))
return transform_matrix
d_matrix = make_transform_matrix(d)
d_matrix = d_matrix+0.5
new_img = np.abs(np.fft.ifft2(np.fft.ifftshift(fshift * d_matrix)))
return new_img
plt.subplot(221)
plt.axis('off')
plt.title('Original')
plt.imshow(imgEqu, cmap='gray')
plt.subplot(222)
plt.axis('off')
plt.title('Butter D=100 n=1')
butter_100_1 = ButterworthPassFilter(imgEqu, 100, 1)
plt.imshow(butter_100_1, cmap='gray')
plt.subplot(223)
plt.axis('off')
plt.title('Butter D=30 n=1')
butter_30_1 = ButterworthPassFilter(imgEqu, 30, 1)
plt.imshow(butter_30_1, cmap='gray')
plt.subplot(224)
plt.axis('off')
plt.title('Butter D=30 n=5')
butter_30_5 = ButterworthPassFilter(imgEqu, 30, 5)
plt.imshow(butter_30_5, cmap='gray')
plt.show()输出结果：其中 d为截止频率，n为阶数，具体的参数调整效果在那篇文章里有。
2.2.8 图片复原与重建：给图片增加噪声
试一下添加椒盐噪声：
# 增加噪声
#添加椒盐噪声
def sp_noise(image, prob):
'''
添加椒盐噪声
prob:噪声比例
'''
output = np.zeros(image.shape, np.uint8)
thres = 1 - prob
for i in range(image.shape[0]):
for j in range(image.shape[1]):
rdn = np.random.random()
if rdn < prob:
output[i][j] = 0
elif rdn > thres:
output[i][j] = 255
else:
output[i][j] = image[i][j]
return output
imgSp = sp_noise(imgEqu, 0.02)
cv2.namedWindow("imgSp")
cv2.imwrite("C:/Users/Administrator/Desktop/pic/imgSp.png", imgSp)
cv2.imshow("imgSp", imgSp)输出结果为：
2.2.9 彩色图像处理：图像读取
先将图片读取成RGB格式，要注意需要转化一下：
#读取彩色图像
#首先读出来的是BGR图像
imgBgr = cv2.imread("F:/picture/cat.jpg", cv2.IMREAD_COLOR)
#转换成RGB
imgRgb = cv2.cvtColor(imgBgr, cv2.COLOR_BGR2RGB)
plt.subplot(121)# 一行 两列 第一个
plt.axis('off')
plt.title('IMG_BGR')
plt.imshow(imgBgr)
plt.subplot(122)
plt.axis('off')
plt.title('IMG_RGB')
plt.imshow(imgRgb)
plt.show()输出结果：
文中说到还有一种方式是直接按照三通道进行读取,就省去了转化的步骤：
cat = cv2.imread("F:/picture/cat.jpg")
#直接按照通道读取
b, g, r = cv2.split(cat)
"""
cv2.imshow("Blue 1", b)
cv2.imshow("Green 1", g)
cv2.imshow("Red 1", r)
"""
plt.subplot(131)
plt.axis('off')
plt.title('IMG_R')
plt.imshow(r)
plt.subplot(132)
plt.axis('off')
plt.title('IMG_G')
plt.imshow(g)
plt.subplot(133)
plt.axis('off')
plt.title('IMG_B')
plt.imshow(b)
plt.show()输出结果：
2.2.10 彩色图像处理：伪彩色图像处理
将图像中的一个或多个通道的数据用其他传感器的数据代替。
2.2.11 小波变换
也是一种滤波方法。
防止吉布斯效应： 一个很小的波动需要许多三角波来拟合。而用小波变换可以消除这种效果，减少了运算量。
小波变换原理参考了知乎这一篇：形象易懂讲解算法I——小波变换 - 咚懂咚懂咚的文章 - 知乎 https://zhuanlan.zhihu.com/p/22450818
2.2.12 图像压缩
霍夫曼编码：分级逐次合并概率最小的灰度级。
最简单的就是resize函数。
3. 图像形态学
3.1 腐蚀与膨胀
腐蚀与膨胀：通过用一个n维矩阵扫描图片，来判断是该区域像素是该置0还是置255,通过调整filter矩阵参数，二者结合使用能起到滤波器的效果。
腐蚀(erode)：用于消除小而无意义的物体。
膨胀(dilate)：用于扩大目标像素。
3.2 图像分割
3.2.1 阈值分割法：
全局阈值：通过直方图的波谷进行图像分割。如果多个波峰波谷，可以使用多阈值分割（代表不同部位）。
最小误差阈值：有目标和背景的分布函数，对误差函数（阈值导致的错误分辨的部分（目标&背景）的概率和）再求极值，得到阈值。
最大方差阈值：利用直方图选取初始阈值，将像素分为两组，求两组像素的方差，方差最大点就是阈值点。（otsu 大津阈值法）
3.2.2 边缘分割法：
Canny算子：
1.采用滤波器平滑图像
2. 采用方向检测算子计算梯度
3.沿着梯度方向寻找局部极大值
4.采用双阈值检测跟踪边缘
3.2.3 霍夫变换Hough：
解决什么问题：在找到一堆边界点时，想要找到最符合这些边界点的直线方程。
方法：将位置xy平面，转换到对应方程y=ax+b 的参数ab平面，求 a=mb+n这些线的公共点。就是y与x对应关系最频繁的一个点，所以就能确定参数。
功能：通过变换极坐标方程，多维参数的形式，即可以检测直线，也可以检测圆等曲线。
优点与缺点：
优点：抗噪声能力强，解析直线与曲线。
缺点：需要先二值化以及边缘检测，损失原图很多信息。
3.2.4 基于区域的图像分割法
区域生长法：灰度差生长法，小于一定灰度阈值T的都归为一个区域。
分类和并法：将图像分成许多小份，根据相邻方差是否为0（或者是某个阈值）来判断是否属于同一区域。
4. 视频处理
4.1 视频基础知识
帧：frame,视频是由帧构成的，视频可以看做根据时间顺序依次播放的画面
fps：帧率，一秒播放多少帧
... ...待后续补充。
4.2 按帧读取视频并合成视频
将一个视频按照每一帧读取出来，并存为jpg文件，然后对其进行处理，处理后再将所有图片合成一个新的视频，最后将用到的图片删除，只保留视频。
下列代码生成的视频很大，具体怎么变小还在研究中，应该是将图片质量调低就好了。
import 包有些可能不用，不过我懒省事就都import了。可以自行删除。
import cv2
import matplotlib.pyplot as plt
from PIL import Image
import numpy as np
import os
video = cv2.VideoCapture("F:/PY_WORK/test/test01.avi") #打开原始视频
fps = video.get(cv2.CAP_PROP_FPS) #读取帧率
frameCount = video.get(cv2.CAP_PROP_FRAME_COUNT) #视频总帧数
size = (int(video.get(cv2.CAP_PROP_FRAME_WIDTH)), int(video.get(cv2.CAP_PROP_FRAME_HEIGHT))) #读取视频size
success, frame = video.read()
print(fps, frameCount, size)
#读取视频图片
i = 0 # 图片顺序编号
while success:
success, frame = video.read()#读出一帧图片
if success:
filename = 'F:/PY_WORK/test/image' + str(i) + '.jpg'
cv2.imwrite(filename, frame, [cv2.IMWRITE_JPEG_QUALITY, 100]) # 确定图片质量，100算是高的
i = i+1
print('图片读取end!')
"""
在这里可以插入对img图片的处理，例如逐个图片边缘检测之类的。
"""
#图片写入视频
img = cv2.imread('F:/PY_WORK/test/image0.jpg')#读取第一个图片 看看大小
imginfo = img.shape
size = (imginfo[1], imginfo[0]) #与默认不同，opencv使用 height在前，width在后，所有需要自己重新排序
print(size)
#创建写入对象，包括 新建视频名称，每秒钟多少帧图片(fps张) ,size大小
#一般人眼最低分辨率为19帧/秒
transpath = 'F:/PY_WORK/test/test02.mp4' #输出视频位置
videoWriter = cv2.VideoWriter(transpath, cv2.VideoWriter_fourcc(*"mp4v"), fps, size)#fourcc参数如果报错的话，就直接用-1替换，它会自己选择。这个我也感觉很迷糊
for i in range(int(frameCount)):#将 总帧数 幅图片写入
filename = 'F:/PY_WORK/test/image' + str(i) + '.jpg'
img = cv2.imread(filename, 1) # 1 表示彩图，0表示灰度图
# 直接写入图片对应的数据
videoWriter.write(img)
videoWriter.release()
print('视频生成end')
#生成完毕删除图片
for i in range(int(frameCount)):
filename = 'F:/PY_WORK/test/image' + str(i) + '.jpg'
os.remove("filename")
print("图片删除end!")我中间插入Canny滤波后的输出结果：
视频用的bilibili下载的舞蹈区视频做(～￣▽￣)～https://www.bilibili.com/video/BV1Vb411C7wk?from=search&seid=11355300764444585028。
视频下载可以再链接里的bilibili后面加上jj,用唧唧下载视频。
生成的视频就不传了，放个截图。
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
