考试范围:2数字图像表示、3图像增强、4图像压缩编码、7图像分割、
一、图像基础
图像的两种组织方式:
二、图像运算
1.点运算
其中T[]是对f在(x,y)点值的一种数学运算,即点运算是一种像素的逐点运算,是灰度到灰度的映射过程,称T[]为灰度变换函数。
g(x,y) = T[f(x,y)]
T :灰度变换函数
1.1线性点运算
S(x, y) =a x r(x,y) +b
1.2非线性点运算
非线性点运算的输出和输入灰度级呈非线性关系,常见的非线性灰度变换为对数变换(对数和反对数)和幂律变换(n次幂和n次根)。
对数变换:有时原图的动态范围太大,超出某些显示设备的允许动态范围,如果直接使用原图,则一部分细节可能会丢失。
解决办法:对原图进行灰度压缩,比如对数变换。
S = c.log(1+r)
//c是常数
//r>=0
幂次变换:
2.代数运算
2.1加法运算
C(x,y) = A(x,y) + B(x,y)
应用:去除“叠加性”噪音、生成图像叠加效果(像素必须相同:尺寸,形状)
2.2减法运算
C(x,y) = A(x,y) - B(x,y)
应用:去除不需要的叠加性图案、检测同一场景两幅图像之间的变化。
2.3乘法运算
C(x,y) = A(x,y) X B(x,y)
应用:图像的局部显示、用二值蒙版图像与原图像做乘法。
3.逻辑运算
3.1灰度求反
g(x,y) = R -f(x,y)
//R为f(x,y)的灰度级
3.2异或运算
应用:获得相交子图像。
3.3与运算
应用:求两图的相交子图。
3.4或运算
应用:合并子图像。
4.图像的空间域变换
几何变换:改变图像中物体对象(像素)之间的空间关系。包括:平移变换、旋转变换、镜像变换(水平镜像、垂直镜像)、放缩变换、拉伸变换。
三、图像仿射变换
仿射变换:线性变换+平移。
线性变换:直线变换后还是直线,直线比例不变。
仿射变换计算:引入齐次坐标,将 线性变换 和 平移变换,即所有变换,统一用矩阵乘法表示,点和向量都增加一个维度,点的第三维=1,向量的第三维=0.。
常见的仿射变换:
四、灰度变换
常见灰度变换:
1.图像反转
(如灰度图的像素范围是0-256,则L为256)
2.对数变换
3.Gamma变换(指数变换)
改变对比度
4.直方图均衡化
均衡化后的灰度值 = 原图每个灰度累计占比 x 灰度级数
五、空间域滤波
空间域:图像平面本身,即图像的每个像素单元。
变换域:将图像转换到其他的域(如频率域),在变换域处理图像后,再反变换回来。
空间域图像处理:包括灰度变换 和 空间域滤波。
空间域滤波:就是对图像进行卷积,卷积核又称滤波器、模板、窗口、掩膜。
1.空间域平滑滤波(低通滤波)
平滑空间滤波:根据使用不同的卷积核,包括 平滑线性滤波、中值滤波、高斯滤波。
空间滤波(低通滤波)的作用:模糊处理(大目标处理前除去琐碎细节)、降低噪声(经典噪声是灰度级剧烈变换引起的)。
1.1平滑线性滤波
卷积核的所有系数都相等。
作用:
1.2中值滤波
中值滤波:又叫统计排序滤波、非线性滤波,像素邻域内的灰度中值 替换 目标像素灰度值。
应用:去除椒盐噪声(星星点点的噪点)。
1.3高斯滤波
邻域内的灰度加权均值 替换 目标像素灰度值,核的权重由 坐标 和 高斯函数 计算得到。
高斯核的标准差:指核的权重值的离散程度。标准差越大,越像平滑线性滤波,标准差越小,越像中值滤波。
2.空间域锐化滤波(高通滤波)
锐化空间滤波:对图像求1阶(函数值变化率,关注灰度值变化的区域)、2阶(斜率变换率,关注灰度值斜率突变的点)导数。
包括: Prewitt算子、Sobel算子、拉普拉斯算子。
作用:突出灰度值的过度部分,如寻找边界,增强图像。
2.1 Prewitt算子
2.2 Sobel算子
2.3 拉普拉斯算子
如何锐化图像:
六、频率域滤波
1.傅里叶变换
推荐阅读:傅里叶变换
正弦曲线:
1.1一维傅里叶变换DFT
时域、频率域:
红色时域,蓝色频域
频域:振幅对应的线,计算简单。
傅里叶变换:使用欧拉公式,将时域变换为频率域,进行计算,再傅里叶反变换为原域。
相位谱:距频率轴最近的波峰 在底面的投影 到频率轴的距离 除周期。
1.2二维傅里叶变换 2D DFT
t,z分别表示两个维度的空间频域
频率谱(幅度):
功率谱:
图像的频谱图:(图像的 时域->频率域>中心化>对数变换,得到频谱图)
旋转平移对频谱图的影响:
2.频率域滤波
空间域f(x,y)h(u,v) 和F(X,Y)H(u,v) 频率域滤波的联系:
使用方法:先选定效果较好的频率域滤波,再用傅里叶反变换为空间域滤波,作用于图像。
原因:频率域滤波效果好,但空间域滤波速度快。
3.空间域滤波和频率域滤波关系
低频/直流分量:图像灰度变化平滑的区域。
高频/交流分量:图像灰度变化剧烈的区域。
高通滤波器:保留高频(尖锐),衰减低频(平滑)——锐化。
低通滤波器:保留低频(平滑),衰减高频(尖锐)——模糊。
如何在锐化的同时,保留平滑区域的色调:
4.频率域平滑滤波(低通滤波)
不同低通滤波器对比:
4.1理想低通滤波器
例子:低通滤波器的半径D越小,图像越模糊。
低通滤波的震荡效应:
4.2巴特沃斯低通滤波器BLPF
n是阶数
4.3高斯低通滤波器GLPF
5.频率域锐化滤波(高通滤波)
不同高通滤波器的对比:
5.1理想高通滤波
5.2巴特沃斯高通滤波
5.3高斯高通滤波
七、形态学处理
1.基础知识
形态:图像的区域形状,如边界、骨架…
形态学操作(结果元 对 原图像 进行 集合运算):腐蚀、膨胀、开运算、闭运算、击中击不中、梯度运算、顶帽、底帽…
结构元:研究一副图像中感兴趣特征所用的小集合/子图像,每个结构元都有原点。
结构元的平坦与不平坦:
2.腐蚀
2.1 腐蚀 二值图像
2.2腐蚀 灰度图像(平坦结构元)
2.2腐蚀 灰度图像(非平坦结构元)
真实计算中负数都截断为0。
例子:
3.膨胀
3.1 膨胀 二值图像
3.2膨胀 灰度图像(平坦结构元)
3.3膨胀 灰度图像(非平坦结构元)
4. 开运算
5.闭运算
6.形态学平滑
7.顶帽运算
8.黑帽运算
9.击中击不中
10.形态学梯度
八、检测算法
二阶导数:
1.检测孤立点
2.检测线
3.检测边缘
3.1边缘检测-梯度算子
3.2边缘检测-LoG算子
3.3边缘检测-Canny算子
4.边缘连接
4.1边缘连接-局部处理
4.2 边缘连接-全局处理
九、分割算法
1.全局阈值分割
1.1基本全阈值分割
1.2 Ostu最佳全阈分割
2.区域阈值分割
3.分水岭阈值分割
十、彩色数字图像处理
十一、图像压缩与编码
7. JPEG编码
7.1 JPEG基本工作模式
核心:DCT变换编码
编码过程:
解码过程:
离散余弦变换
JPEG 采用8X8 大小子块的二维离散余弦变换(DCT)。
在编码器的输人端把原始图像顺序地分割成一系列 8X8 的子块,设原始图像的采样精度为 P 位,是无符号整数,输入时把[0,2]范围的无符号整数变成[-2P-1,2P1-1]范围的有符号整数,以此作为离散余弦正变换(Forward,简称 FDCT)的输入。在解码器的输出端经离散余弦变换(Inverse,简称IDCT)后,得到一系列 8X8 的图像数据块需将其数值范围由[-2”,21-]再变回到[0,2”]范围内的无符号整数,来获得重构图像。