数字图像处理知识点总结（自制）

        这篇博客是我备考数字图像时花两天总结的知识点，供自己复习使用的。

数字图像处理：(狭义):对图像进行各种加工，以改善图像的视觉效果或突出目标，强调图像之间进行的变换，是一个从图像到图像的过程;广义：与图像相关的处理-图像分析、理解、机器视觉。

空域增强技术：解决图像质量在成像、复制、扫描、传输以及显示时降低-----图像增强、图像恢复

增强特点：不考虑图像降质的原因，选择性增强特征；改善后的图像不一定逼近原图像

空域增强：空域，即由像素组成的空间----g(x,y)=T[f(x,y)]，T一般为奇数列，T-空间滤波器正方形、对于边缘处理填零

直接灰度映射：对点的操作，将每个像素的灰度T按照直接变换得到g(x,y)

灰度变换的操作：图像求反：增强暗色区域的白色或灰色细节；增强对比度：能够在合适的亮度上提供最大的细节信息，细节纹理的勾纹越深图像越清晰；灰度切分：增强特定范围的对比度，突出图像中特定范围的亮度；对数变换：将低灰度值部分扩展，显示低灰度的更多细节；指数变换：将灰度过高或过低的图片进行修正，增强对比度  γ＞1，图像变暗；γ＜1，图像变亮

图像的运算：加法：去除叠加性噪音---针对噪音集之间互不相关且均值为0；叠加图像效果、减法：去除不要的叠加性图案；检测同一场景两幅图像之间的变化T1-T2；计算物体边界的梯度、乘法：图像的局部显示---利用二值mask与原图像做乘法、取反：获取反图像、或、异或、与

直方图修正

高对比图的图像中像素的灰度级分布区域宽，且较均匀

直方图均衡化

1. 指图像进行灰度变换后，使得灰度的概率密度分布变成常数，即均匀分布
2. 基本思想：扩大像素灰度值分布的动态范围；增强图像整体对比度（反差）；目的是使图像清晰

注意：不能将同一灰度值的各个像素变换到不同灰度级上

优点：自动增强整个图像的对比度       

缺点：总是用均匀分布来近似目标图像的直方图——增强效果不易控制，总是得到全局均衡化的直方图

1. 直方图规定化——将原始图像的直方图转化为期望的直方图的形状

1. SML——将原图像中的每个灰度级ri分别对应到结果图像中去称为单映射。有取整误差
2. GML——用结果图像中的每个灰度级zj到原始图像中找哪些灰度级映射到它

1. 有选择性增强
2. 需给定直方图
3. 特定增强结果

空间滤波：利用像素本身及其邻域像素的灰度关系进行增强的方法称为滤波

1. 平滑滤波器
2. 线性滤波器 

1. 邻域平均——模板系数为正，系数之和为1，例z=1Mi=0m-1ki-1Si-1，M为ki的和，模板尺寸增大时，噪音消除效果增强，图像模糊，边缘细节减少、记得要除
2. 加权平均
3. 非线性滤波器

1. 中值滤波器、注：中值滤波器的消噪声效果与模板的尺寸和参与运算的像素有关；图像中尺寸小于模板尺寸一半的过亮或过暗区域将会在滤波后消除掉；中值滤波后的图像轮廓比较与邻域滤波要清晰
2. 中点滤波器、百分比滤波器

1. 锐化滤波器——利用微分（离散对应差分）锐化图像；需要用两个模板沿x，y计算

注：差分模板中系数和为0

1. Laplace算子——二阶导数——Enhance edge，line，point，同时也会增强噪声；增强灰度突变的位置，不增强灰度级缓慢变化的区域-----算子中心系数为正——加、算子中心系数为负——减
2. 最大-最小锐化变换、比较一个模版覆盖区域里的中心像素值与该区域里的最大值和最小值，然后将中心像素值用其接近的极值（最大或最小值）所替换

局部增强：相比于全局增强多了一个选择局部区域的步骤；方法：增益函数——利用每个像素的邻域像素的均值和方差

平滑滤波器和锐化滤波器

相同点：

都是空间滤波器： 无论是平滑滤波器还是锐化滤波器，它们都是应用在图像的空间域（即像素级别）上的滤波操作。

基于邻域像素： 两者都是基于图像中每个像素周围的邻域像素进行操作，以产生输出像素的新值。

不同点：

1.作用目的不同：

平滑滤波器（低通滤波器）：主要目的是减少图像中的噪声和细节，使图像变得更加模糊和柔和。

锐化滤波器（高通滤波器）：旨在增强图像的边缘和细节，使图像看起来更加清晰和锐利。

2.滤波器响应特性不同：

平滑滤波器： 通常采用一些平滑的核（例如高斯核）来模糊图像。

锐化滤波器： 通常采用一些锐化的核（例如拉普拉斯核）来增强图像的边缘和细节。

3.影响图像的频率成分：

平滑滤波器： 主要影响图像的低频分量，即图像中的细节和噪声。

锐化滤波器： 主要影响图像的高频分量，即图像中的边缘和细节。

联系：

互为补充： 在某些情况下，平滑滤波和锐化滤波可以相互补充。例如，可以在应用锐化滤波之前，先应用平滑滤波来减少噪声的影响，从而提高锐化效果。

应用场景： 平滑滤波和锐化滤波通常根据实际需求在图像处理流程中交替应用。例如，在图像处理中的预处理阶段，可以先使用平滑滤波器来去除噪声，然后再使用锐化滤波器来增强图像的细节和边缘。

总的来说，平滑滤波器和锐化滤波器在图像处理中各自有着不同的作用和效果，但它们常常在一起使用，以达到更好的图像处理效果。

傅里叶变换---写公式、特别是离散的—计算对象是复数----信号：在时域是一个周期且连续的函数，在频域是一个非周期且离散的函数

窗函数的计算---辛克函数Sinc(u)，抽样信号

离散傅里叶变换及反变换的计算：-----可以压缩数据，有利于影像分解力的分析、影像处理

变换后的频域图中，明亮线和原始图像中对应的轮廓线是垂直的；如果有圆形区域那么幅度谱也呈圆形分布。

F(0,0)是频谱中最大的分量，对应平均一幅图的所有像素值和或者像素平均值

性质：平移性质、旋转性质、尺度定理、卷积定理

快速傅里叶变换（FFT）——将复数乘法和加法的次数由N方减少为NlogN

离散余弦变换、沃尔什变换；应用：图像压缩编码、语音信号处理

平滑滤波器——图像中的边缘和噪声都对应图像傅里叶变换的高频部分

对实部和虚部影响完全相同的滤波（转移）函数—即零相移滤波、振铃现象：在2D图像上表现为一系列的同心圆环；圆环半径反比于截断频率；半径越大越清晰，截断频率越小，振铃现象越不明显

巴特沃斯低通滤波器BLPF：物理上可实现减少振铃现象，高低频率间的过度比较平滑——n阶，阶数越高，振铃效果越明显

高斯低通滤波器：没有振铃现象

低通滤波器应用：去噪；去除虚轮廓：图像由于量化不足产生虚假轮廓时常可用低通滤波进行平滑以改进图像质量；字符增强、人脸皱纹处理

高通滤波器；高频提升滤波器

1. 利用原始图像减去低通图得到高通滤波器效果
2. 把原始图乘以一个放大系数A再减去低通图就可以变成高频提升滤波器——写公式

空域中的平滑滤波器在频域里对应低通滤波器：频域越宽，空域越窄，平滑作用越弱频域越窄，空域越宽，模糊作用越强

离散余弦变换（DCT）与傅里叶变换相比：

1.能量集中性：DCT的主要优势之一是它具有更好的能量集中性。在DCT中，大部分信号能量集中在较低频率的系数上，而高频部分的能量较少。这使得DCT在信号压缩和编码中特别有效，因为在编码时可以忽略高频部分的系数，从而实现更高的压缩率。

2.图像/信号压缩：由于DCT能够将信号能量集中在少量系数上，因此它广泛应用于图像和音频压缩领域，如JPEG图像压缩和MP3音频压缩。相比之下，傅里叶变换在这方面并不是那么有效，因为它会将信号的能量分散到所有频率上。

3.去除冗余信息：DCT能够去除信号中的冗余信息，并且可以通过舍弃高频系数来实现信号的部分损失压缩。这种特性对于媒体压缩和存储非常有用。

4.减少边界效应：DCT对信号的边界效应更加鲁棒。傅里叶变换在信号边界处可能产生振铃效应，而DCT则更少受到这种影响，因此在处理边界处的信号时更可靠。

5.计算效率：DCT的计算量通常比傅里叶变换低，特别是在对实数信号进行变换时。这使得DCT在实时处理和实际应用中更具可行性。

图像的傅立叶频谱可以反映图像的特征如下：

1.频率信息：傅立叶频谱显示了图像中不同频率的成分。低频成分通常对应于图像中的平滑区域或慢变化的区域，而高频成分通常对应于图像中的边缘、细节或纹理。通过分析傅立叶频谱，可以了解图像中的频率分布情况，从而对图像的细节和结构有更深入的理解。

2.方向性：傅立叶频谱中的方向性信息可以反映图像中的纹理方向或边缘方向。在傅立叶域中，特定方向上的高频分量可能会在对应方向上产生明显的能量集中。因此，通过分析傅立叶频谱的方向性，可以推断图像中的纹理或边缘的方向。

3.周期性：对于具有周期性结构的图像（例如周期性纹理或周期性图案），傅立叶频谱会显示出对应于这些周期性结构的频率成分。通过观察傅立叶频谱中的周期性成分，可以识别图像中的重复模式或周期性特征。

4.能量分布：傅立叶频谱中不同频率成分的能量分布可以反映图像的对比度和亮度分布情况。对比度较高的图像可能会在高频区域具有更多的能量，而对比度较低的图像则可能在低频区域具有更多的能量。

基本图像分割技术最终将图像转化为二值图像

1. 图像分割定义和技术分类：按照一定的规则将一幅图像分成各具特性的区域，并提取出感兴趣目标的技术和过程，又叫目标检测、目标轮廓技术、阈值化技术

1. 相似性分割：将相似灰度级的像素聚集在一起——基于区域分割
2. 非连续性分割：检测局部不连续性，将其连接形成边界——基于点相关分割

边缘检测——并行边界技术；同时对目标边界上的各像素进行检测，是一种并行边界技术

简单的边缘检测方法：早期基于像素值的导数，利用差分代替导数运算

注：单个方向的差分不能准确反应边缘像数值的变化——Robert、Prewitt、Sobel、Laplacian

阈值分割——串行边界技术；直方图阈值分割——双峰、迭代阈值分割、最大类间方差法——大津算法

区域增长——并行区域技术；关键：选择合适的生长或相似性准则

分裂合并区域法——串行区域技术；步骤：（1）确定均匀性测试准则P；（2）对任一区域Ri，如果P(Ri) = false，将其分裂成四等份（3）对相邻的2个区域Ri和Rj,如果P(Ri È Rj) = true,就将它们合并；（4）如果进一步的分裂或合并都不可能，则结束，否则执行（2）

图像区域（块）统计属性：像素灰度方差和均值

分裂：块内像素值差较大，方差大于设定的阈值； 合并：相邻块间的属性值相似，块间像素均值差小于设定的阈值；

不同颜色光的本质：不同频率的电磁波。可见光光谱的范围：400-700nm

三基色——红、绿、蓝（RGB）        三补色——蓝绿、品红、黄（CMY）      色调、饱和度、亮度（HSI）

亮度：与物体的反射率成正比       色调：与光的波长有关     饱和度：与光的色调的纯度有关。纯光谱色是完全饱和的，随着白光的加入饱和度逐渐减少

色彩转灰度，适合显示器和相机

Y709=0.2125R+0.7154G+0.0721B

面向硬设备的彩色模型——RGB模型、CMY模型=1-RGB          面向视觉感知的彩色模型——HIS模型，YCbCr模型

HSI----H：色调、S：饱和度、I：密度（对应成像亮度和图像灰度）；H和S分量与人感受颜色的方式紧密相连；I分量与图像的彩色信息无关；

YUV模型：Y表示亮度，U、V表示色差——彩色电视信号传输时将RGB信号改成YUV信号

YCbCr模型：充分考虑人眼的视觉特性，以降低彩色数字图像存储量，适合彩色图像压缩的模型，与YUV模型一样，但在构造色差信号时，充分考虑了R、G、B三个分量在视觉感受中的不同重要性

伪彩色处理：处理灰度图像，将原来灰度图像中不同灰度值的区域赋予不同的颜色

1. 亮度切割——将图像看作2D亮度函数，用一个平面区切割分成两个灰度值区间，形成不同颜色
2. 变换函数——利用点-点幅度变换函数，对灰度值用三个独立变换的函数来处理
3. 频域滤波——对原来灰度图像中的不同频率分量（可分别借助低通，带通/带阻，高通滤波器获得）赋予不同的颜色

结构元：用于探测图像的小集合或子图，以研究图像中感兴趣的特性。(需指明原点)

位移、映像、腐蚀、膨胀、开操作：外凸变圆；断开狭窄的间断；闭操作：内凹变圆；消除长细的鸿沟；消除小的孔洞；填补轮廓线中小的断裂

击中或击不中变换：可以用来检测目标形状的位置

处理对象：二值图像       主要应用：提取对于描述和表达形状有用的图像成份

边界提取：用原来的图像减去将其腐蚀的图像      区域填充：给定区域内一点，采用种子填充     图像细化：写公式，解释一哈

灰度级图像扩展：对函数膨胀、对函数的腐蚀

膨胀操作的结果：1. 如果结构元素为正，则输出图像变亮  2.暗部细节部分的变化取决于结构元素的值和形状

腐蚀操作的结果：1.如果结构元素为正，则输出图像变暗   2.亮部细节部分的变化取决于结构元素的值和形状

对函数的开操作：同上；幅度和尖锐度减小；去除较小的明亮细节，相对保持整体灰度级和较大的明亮区域

对函数的闭操作：同上；幅度和尖锐度增大；去除较小的暗部细节，相对保持整体灰度级和较大的明亮区域

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

图像：各种观测系统以不同形式和手段观测客观世界而获得的， 能直接或者间接作用于人眼睛进而产生视觉感知的实体。

数字图像：指用计算机存储和处理的图像，是一种空间坐标和灰度均不连续，用离散数学表示的图像。

灰度图像：每个像素信息由一个量化的灰度级来描述，没有颜色信息

数字图像的基本类型：二值图像：每个像素只能是黑或百，没有中间过度值，编码通常为0或1；灰度图像：每个像素的信息用一个量化的灰度级来描述，没有颜色信息；索引图像：图像的每个像素值都是图像颜色表的索引地址；彩色图像：图像的每个像素信息由颜色RGB构成，其中颜色分量由不同的灰度级来描述

图像成像模型：图像采集的过程从光度学的角度可看作是一个将客观景物的光辐射强度转换为图像灰度的过程，基于这样的亮度成像模型，光辐射形成物体上能量分布包括两部分： (1) 入射到可见场景上的光量：照度成分 i (x, y) (2) 场景中目标对入射光的反射比率：反射成分 r (x, y)

I=f(x,y,z,λ,t)---x,y,z是空间位置向量，t是时间，λ是频谱变量，如波长，t是能量值

数字图像处理分为哪几个层次？

1. 低级图像处理（狭义）-主要对图像进行各种加工以改善图像的视觉效果或突出有用信息，并为自动识别打基础，或通过编码减少其所需要的存储空间，传输时间等；输入img，输出是图像，即图像的变换
2. 中级图像处理（图像分析）-主要对图像中感兴趣的目标进行检测，获取它们的客观信息，从而建立图像中目标的描述，是一个图像到数值符号的过程；输入img，输出是数据
3. 高级图像处理（图像理解）-在中级图像处理的基础上，进一步研究图像中个目标的性质和他们之间的相互联系，并得出对图像内容含义的理解以及对客观场景的解释（计算机视觉）；输入img，输出是理解

数字图像的应用领域：生物医学：X光成像，超声成像；遥感航天：天气预报，地址勘探；通信方面：图像传输，影像传输

数字图像的几何：改变图像中物体对象（像素）之间的空间关系；平滑：模糊，消除噪声； 锐化：增强边缘细节； 分割：按照一定的规则将一幅图像分成各具特性的区域

平滑：①目的：降低图像锐度，同时也会去除部分噪声，处理后导致图象模糊；②处理方法：邻域平均法、中值滤波法、多图象平均法，采用取平均值或中值的方法来模糊噪声；③图象边缘及噪声频率都在高频区，用低通滤波法来去噪声。锐化：①目的：增强图像轮廓和细节，使图象清晰，处理后噪声也会增强；②处理方法：梯度法、拉普拉斯算法、Robert算法，采用微分运算求信号变化率，加强高频分量，使图象轮廓清晰；③图象边缘或线条等细节部分在高频区，用高通滤波让高频分量通过。

采样：空间坐标的离散化称为空间采样，简称采样，确定了图像的空间分辨率

量化：对采样点亮度（灰度）值的离散化过程。确定了图像的灰（幅）度分辨

采样间隔越大，所得图像像素越少，图像空间分辨率低，质量差，严重时出现像素呈块状的国际棋盘效应；采样间隔越小，所得图像像素越多，图像空间分辨率高，质量好，但数据量大。

量化等级越多，所得图像层次越丰富，灰度分辨率越高，质量越好，但数据量大；量化等级越少，图像层次欠丰富，灰度分辨率低，质量变差，会出现假轮廓现象，但数据量小。

空间分辨率：图像中可辨别的最小细节的度量；     灰度分辨率：在灰度级中可分辨的最小变化           图像的点运算：将图像的每个像素的灰度值逐点进行变换

对数变换与指数变换的区别：对数变换可以拉伸范围较窄的低灰度值，同时压缩范围较宽的高灰度值，可以用来扩展图像中的暗像素值，同时压缩亮像素值，即对低灰度细节进行增强；指数变换多用在图像整体偏暗，拓展灰度级，即对整体灰度值进行改变

傅里叶变换：1. 对a*f在幅度方面的放缩导致其a*F在频域幅度方面的相应放缩  2. 对f在空间尺度（a*x）的放缩导致其在F在频域尺度的相反放缩 3. 对f的收缩（a，b＞1）导致对F的膨胀，F的幅度减小

常用的图像变换：1. 傅里叶变换：具有快速算法，数字图象处理中最常用，需要复数运算，可把整幅图象的信息用若干个系数来表达。2. 离散余弦变换：有快速算法，只要求实数运算。在实现编码和维纳滤波时有用，同DFT一样，可实现很好的信息压缩  3. 沃尔什变换：在数字图象处理的硬件实现时有用，容易模拟，但很难分析在图像数据压缩、滤波、编码中有应用，信息压缩计算快。

图像平滑：邻域平均、加权平均、中值滤波器；  图像锐化：差分——Laplacian等等

在频域中，图像的平滑——图像中的边缘和噪声都对应图像傅里叶变换中的高频部分，根据频域增强技术原理，需要选择一个合适的H(u,v)以消弱F(u,v)高频分量得到G(u,v)——自己描述

中值滤波法：中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。

理想低通滤波器ILPF：特点：过渡非常急剧，容易产生振铃现象     巴特沃斯低通滤波器BLPF：过渡没有ILPF那么剧烈，阶数越高越剧烈，振铃越明显    高斯低通滤波器：过渡非常平坦，无振铃现象

图像的边缘：物体的边缘是以图像局部特性的不连续性的形式出现的，从本质上说，边缘意味着一个区域的终结和另一个区域的开始。

梯度算子：一阶导数算子，用于实现图像的梯度计算；  Laplacian算子：二阶微分算子，不依赖于边缘方向，旋转不变即各向同性

灰度直方图的双峰法：是利用图像中要提取的目标物与其背景在灰度特性上的差异，把图像视为具有不同灰度级的两类区域(目标和背景)的组合，选取一个合适的阈值，以确定图像中每一个像素点应该属于目标还是背景区域。如果灰度级直方图呈明显的双峰状，则选取两峰之间的谷底所对应的灰度级作为阈值。局限性在于需要有一定的图像先验知识，因为同一直方图可以对应若干种不同的图像，直方图表明图像中各个灰度级上有多少个像素，并不描述这些像素的任何位置信息。该方法不适用于直方图中双峰差别很大或双峰间的谷比较宽广而平坦的图像，以及单蜂直方图的情况

区域生长分割法：基本思想：将具有相似性的像素集合起来构成的区域   步骤：1.对每个需要分割的区域找一个种子像素作为生长起点2. 将种子像素周围邻域与其有相同或相似性质的像素合并到种子像素所在的区域3. 把新加入的像素作为心得种子重复上面得过程直到没有满足条件得像素加入区域

常用的彩色模型：RGB，CMY，HIS，HSV

舌型色度图的特点：1.中心点为白色 2.边界上的点为纯色，色调不同，但连接中心点和边界点线段上各点有相同的色调  3.三角形内的颜色由三个顶点生成，但不能得到所有颜色

伪彩色处理：对原来灰度图像中不同灰度值的区域赋予不同的颜色。常用方法有亮度切割，利用变换函数，频域滤波

腐蚀运算：将B平移x，结果是B移动后完全包含在A中时，B的原点位置的集合    膨胀运算：先对B做关于原点的映象，再将其映象平移x，结果是平移后与A交集不为空的x集合