第一章 数字图像处理概述
1、数字图像处理系统的组成:
数字图像处理系统由三个部分组成:图像输入设备、图像处理设备、图像输出设备
图像输入设备:完成获取图像并进行数字化输入功能;
图像处理设备:图像处理分析模块,包括计算机、DSP芯片等硬件设备以及通用或专用软件,用来完成各种各样的目的;
图像输出设备:包括显示输出、打印输出,也可以输出到Internet上的其他设备。
2、数字图像处理的基本概念:
①计算机图像处理;
②利用计算机技术对数字图像进行算术运算和加工处理,以改善图像的视觉效果和提高图像的实用性的技术;
③去除噪声、增强、复原、分割、编码、压缩等。
3、图像处理技术的主要应用领域:
图像处理的应用领域:航空航天技术、生物医学工程、通信工程、工业自动化和机器人视觉方面、军事和公安方面、材料科学方面、生活娱乐方面、智能交通方面
4、电磁波谱的分布
【高频】射线(伽马射线)---> 射线(伦琴射线)---> 紫外线 ---> 可见光 ---> 红外线 ---> 微波 ---> 无线电波【低频】
第二章 数字图像表示及处理
1、人眼视觉感知
①主观亮度(人的视觉系统感觉到的亮度)与进入人眼的光的强度成对数关系,对图像进行对数运算处理后,比较适应人的视觉特性。
②人眼对从亮突变到暗环境的适应你能力成为暗适应性
③人眼对亮度变化跟踪滞后的性质成为视觉惰性(或短暂的记忆特性)
④亮度分辨能力—韦伯定理 :韦伯比越大,则亮度鉴别能力越差
⑤锥状细胞:有精细的空间分辨力,能够识别图像的细节,有辨光的强弱和辨色的作用(白昼视觉或明视觉)
⑥杆状细胞:对低照度的物体产生的弱光敏感,分辨细节的能力差,只能感知物体的概貌(夜视觉或暗视觉)
⑦杆状体和锥状体细胞分布在人眼的视网膜之上
2、图像采样和量化
采样:对图像连续空间坐标x,y的离散化
量化:对图像函数幅值f(灰度级)的离散化
例如:存储一幅M×N的16级灰度数字图像,需要的存储位数为:
因为数字图像为16级的灰度图像,所以16=2^4 则k=4
b = M×N×k
3、图像数字化是最佳采样间隔大小依据成图比例尺而定
4、空间分辨率:图像中可分辨的最小细节,主要由采样间隔值决定
灰度分辨率:灰度级别中可分辨的最小变化,灰度级级数L
第三章 图像的基本运算
1、灰度反转:
2、对数变换:
压缩图像的灰度值的动态范围:调高输入图像的低灰度值
3、灰度直方图:
图像中各级灰度值及其出现频数关系的函数
4、相加运算:
两幅大小想用的图像,对应位置像素相加;需要对图像进行取反,防止图像叠加的过程中数据溢出
第四章 图像变换
1、傅里叶变换
(1) 傅里叶级数的物理含义:
任何时域(空域)连续的复杂波形,通过傅里叶变换,都可以变形成一系列简谐波之和。
(2) 傅里叶变换后频谱图的特征:
①中心点是原图整幅图像的平均灰度,频率为0,从图像中心向外,频率增高。即中心对应低频,外围对应高频。②如果原图中有明显的横纹(竖纹),那么频谱图中就会有鲜明的竖线(横线)。
(3) 傅里叶变换的意义:
①简化计算:将空域中复杂的卷积运算转化为频域中简单的乘积运算
②简化处理和分析:将空域中难以处理或复杂的问题,利用傅里叶变换把用空间域表示的图像映射到频率域,再利用频域滤波或频域分析方法处理分析,再变换回空间域。
③只能在频率域处理的特定应用需求:图像特征提取、数据压缩、纹理分析、水印嵌入
2、离散余弦变换
(1) JPEG图像格式是基于DCT编码实现的
(2) 余弦变换的性质:
- 余弦变换为实数域的正交变换,变换核的基函数正交
- 序列的余弦变换是DFT的对称扩展形式
- 核可分离,可以用两次一维变换来执行
- 余弦变换的能量向低频集中
- 余弦变换有快速变换,和傅里叶变换一样,分奇偶组
3、小波变换
什么是小波?
小:衰减性,局部非0性 ,非0系数个数多少取决于高频成分的丰富程度;
波:波动性,振幅正负之间的震荡形式。
如何判断小波?
小波的特性:①小波必须是振荡的,
②小波的振幅只能在一个很短的一段区间上非零,也即是局部化的。
运用小波基,可以提取信号中的“指定时间”和“指定频率”的变化:
时间:提取信号中“指定时间”(时间A或时间B)的变化小波在某时间的小的波动。
频率:提取信号中时间A的比较慢速的变化,称较低频率成分;
提取信号中时间B的比较快速的变化,称较高频率成分;
4、小波变换弥补了傅里叶变换的不足
①只有频率信号,不能描述频率随时间变化的特性;
②仅适用于那些变化规律呈周期性变化的信号。
第五章 图像增强
1、图像增强(概念)
(1) 按特定的需要突出图像中的某些信息;
(2) 削弱或去除某些不需要的信息;
(3) 改善图像质量。
2、空域图像增强(直接对图像像素处理 ; 灰度映射变换)
空间滤波是以重点突出图像上的某些特征为目地的采用空间域中的邻域处理方法,主要包括(平滑和锐化)。采用的计算方法是(卷积)运算
(1) 灰度级变换
线性灰度级变换—窗切片:
提高图像中某个灰度级范围的亮度
• 某一灰度范围指定较高灰度值,其它部分指定较低灰度值或0值
• 某一灰度范围指定较高灰度值,其它部分的灰度值保持不变
非线性灰度变换—对数函数变换、指数函数变换、幂函数变换
(2) 直方图增强
直方图均衡化:更改图像像素灰度值
像素个数多的灰度级进行拓宽;像素个数少的灰度级进行缩减。
直方图规定化:
- 直方图均衡方法能增强图像的对比度
- 仅产生近似于均匀分布的直方图结果
- 增强效果不易控制
- 具有某种特定形状的直方图图像,有选择地对图像中某特定灰度级范围增强
(3) 空域滤波(借助模板对图像进行邻域操作的处理方法)
- 线性滤波器—平滑(积分)技术 ;
- 非线性滤波器—锐化(微分)技术
*图像噪声:*
- 加性噪声:加性噪声和图像信号是相互独立的。
- 乘性噪声:乘性噪声是一种和图像信号相关的噪声。两类:某像素处的噪声①只与该像素的信号相关,②或与该像素点及其领域的像素信号相关。
- 椒盐噪声:是出现在随机位置、噪点深度基本固定的噪声,高斯噪声与其相反,是几乎每个点上都出现噪声、噪点深度随机的噪声(脉冲噪声)
平滑滤波器:
领域平均法(均值滤波):
- 直接在空间域上进行平滑处理;
- 用邻域内个像素的灰度平均值代替该像素原来的灰度值
均值滤波的模板尺寸越大,图像越模糊,丢失得图像细节越多。
中值滤波:
- 模板区域内的像素排序,求出中值;
- 非线性平滑滤波器;
- 消除噪声,保持图像细节。
优势(简答):就是取一个像素周围一定范围内的像素值,然后取中值作为这个像素的值。这种滤波器用来滤除椒盐噪声(脉冲滤波)(即图像中偶然出现的值为0或255的像素点)有很好的效果
空域锐化:
一、梯度算法:(一阶差分)——景物边缘轮廓提取,
(1): 正交梯度算法——水平垂直差分
(2): Roberts梯度算法——交叉差分
(3): Prewitt梯度算法——两侧做差
(4): Sobel梯度算法——突出离他最近的
二、拉普拉斯算法: (二阶差分)——细节上增强对比度,突出细节部分
平滑和锐化的区别:
平滑:通过一点和周围8个点的平均来去除突然变化的点,从而滤掉一定的噪声,其代价是图象有一定程度的模糊。
锐化:是通过增强高频分量来减少图象中的模糊,因此又称为高通滤波
3、频率域图像增强
(1) 低通滤波
理想低通滤波器
巴特沃斯低通滤波器
(2) 低通振铃现象
振铃效应产生的直接原因是图像退化过程中信息量的丢失,尤其是高频信息的丢失,其严重降低了复原图像的质量,并且使得难于对复原图像进行后续处理
(3) 高通滤波
理想高通滤波器
巴特沃斯高通滤波器
(4) 其他
• 带通滤波 允许某个频率范围内信号通过
• 带阻滤波 阻止某个频率范围内信号通过
• 同态滤波 同时将图像亮度范围压缩 和 将图像对比度增强
第六章 图像复原
1、图像复原与图像退化
(1) 图像退化
图像退化的概念:
- 图像质量下降的过程
- 图像模糊、失真、噪声
图像退化模型的表示:图像的退化过程可以理解为施加于原图像上的运算和噪声两者联合作用的结果,由此可得到图像的退化模型为
系统H的基本定义:
- 系统是某些元件或部件以某种方式构造而成的整体。
- 系统本身所具有的某些特性构成了通过系统的输入信号与输出信号的某种联系。
- 在数学上,看作某种变换,或叫做算子,用H表示。
退化系统H的性质:
齐次性、叠加性、线性、位置(空间)不变性
(2) 图像复原
图像复原的过程:
*分析退化原因——>建立退化模型——>反向推演——>复原图像*
*图像复原与图像增强的区别:*
相同点:
- 改进输入图像的视觉质量
不同点:
- 图像增强—目的是取得较好的视觉效果
- 图像恢复—根据相应的退化模型和知识重建或恢复原始图像
2、图像退化的数学模型
常见退化模型:
运动模糊退化模型
离焦模糊退化模型
3、无约束复原-逆滤波方法
• H (u, v)在UV 平面上取零或很小
G (u, v) / H (u, v)就会使恢复结果与预期的结果有很大差距
• 噪声带来更严重的问题(知道H也估计不准 f )
改进方法:就是避开H(u,v)的零点及小数值的点
简答:逆滤波时,为什么在图像存在噪声时,不能直接采用逆滤波?解释说明并给出正确的处理方法。
①噪声作用大时,逆滤波无法从噪声中提取图像即使知道退化函数H,也不能准确的复原未退化的图像如果退化函数是0或者是很小的值,噪声N容易被放大;
②当退化函数的噪声较小,即轻度噪声时,采用逆滤波恢复的方式可以获得较好的结果要求信噪比高
4、有约束复原-维纳滤波和约束最小平方滤波
(1) 维纳滤波(最小均方误差滤波法)
前提:图像和噪声都是随机过程,图像和噪声不相关
基本思想:找到原图像f(x,y)的一个估计值,使得估计值与原图像之间的均方误差
在统计意义上最小。
特点:对噪声有自动抑制作用
(2) 约束最小平方滤波
- 建立基于平滑测度的最优准则函数C
- 在约束条件下使准则函数C最小
第七章 图像压缩
1、图像压缩
概念:
(1)减少表示图像所需数据量 (2)去除多余数据
数据冗余:表达数据的信息多余
图像冗余(包含:编码冗余、像素间冗余、心里视觉冗余)
- 编码冗余:编码符号数多余实际所需
- 像素间冗余:邻域像素间相关性
- 心里视觉冗余:视觉感知的重要程度
图像保真度准则
概念:在对图像进行有损压缩编码后,重新解压的图像与原始图像可能会存在差异,因此,需要评价压缩后图像的质量。描述解码图像相对原始图像偏离程度的测度一般称为保真度(逼真度)准则。常用的准则可分为两大类:客观保真度准则和主观保真度准则
分类:
客观保真度准则:损失的信息量用原始图像与解码图像的函数表示
主观保真度准则:观察者观察图像并给该图像评分
最常用的客观保真度准则是原图像和解码图像之间的均方根误差和均方根信噪比两种
图像编码系统模型:
信息熵:
2、常见编码方法推荐(计算题!!!)
(1) 霍夫曼编码(!)
(2) 算数编码(!)
(3) 行程编码
第八章 图像分割
1、图像分割
(1) 分割步骤:图像处理--->图像分割--->图像分析
(2) 概念:把图像分成各具特性的互不重叠的区域,并提取出感兴趣目标的技术和过程。
(3) 图像分割的基本思路:
- 从简到难,逐级分割
- 控制背景环境,降低分割难度
- 增强感兴趣对象,减小不相干部分干扰
(4) 图像分割的基本方法:
(5) 图像研究中对不感兴趣的部分一般称为*背景*
(6) 图像研究中对感兴趣的部分一般称为*目标或前景*
2、阈值分割法
(1) 原理:设定区分目标与背景的灰度阈值
(2) 特点:
- 对物体与背景有较强对比的图像分割特别有效
- 计算简单
- 能用封闭而且连通的边界定义不交叠的区域
- 可以推广到非灰度特征
(3) 方法:
- 根据直方图谷底确定阈值(双峰法)
- 最优阈值(最小错误概率阈值)
- 最大类间方差阈值(OTSU)
基本思想:选择阈值,其分割能使得目标和背景区域之间的总体差别最大
- P参数法阈值
3、边缘检测法
(1) 边缘:图像中像素灰度有阶跃变化或屋顶变化的像素的集合
(2) 边缘检测算子:
①一阶微分算子检测边缘:(梯度算子):
- Roberts算子:基于一阶导数的方法
- Prewitt算子:基于一阶导数的方法
- Sobel算子:基于一阶导数的方法
- Canny算子:非微分边缘检测算子
②二阶微分边缘检测:
- Laplacian算子:基于二阶导数的方法
- LOG算子(也称Marr算子):减小噪声影响,先平滑图像,再用拉普拉斯算子检测边缘
Canny算子的特点:
存在问题: 位置不准 非单像素宽 使用高频边缘被平滑掉,从而造成边缘丢失等等
优点:
- 对噪声不敏感,不容易受到噪声的干扰
- 能够检测到真正的弱边缘
- 使用两种不同的阈值能够检测强边缘和弱边缘
好的检测算子需满足三个指标
- 高准确性:多包含真边缘,少包含假边缘
- 高精确度:检测到的边缘应该在真正的边界上
- 单像素宽:选择性很高,只对边缘有唯一响应
拉普拉斯算子的特点:
- 二阶导数,对噪声非常敏感
- 幅值产生双边缘
- 不能检测边缘的方向
作用:
- 边缘预定位
- 确定像素在边缘的位置