数字图像处理_数字图像处理csdn-CSDN博客

本文链接：https://blog.csdn.net/Talantfuck/article/details/147064647

一基本观点

对一幅采集到的图像可以用两种观点看待：

1.1矩阵观点

将图像看作二维矩阵(灰度图)或者一个张量(彩色图像)，这样就可以引入《矩阵论》中的相关方法进行处理。

这种处理分为两个维度：

1.对矩阵中单个元素（对应图像的像素）的处理，如阈值处理、伽马变换等。

2.对矩阵中某个区域(整幅图像可以看作一个大的区域)的处理，如滤波等

那么图像变换就对应着矩阵变换 (拉伸、平移、旋转等)。

特征值、行列式值等矩阵属性的值可以看作图像某方面的特征，对图像矩阵进行计算就对应着对图像进行特征提取

1.2 函数观点

将图像看作是由某个函数生成的，图像(x,y)位置处的像素值对应着函数值f(x,y)，这样就可以引入函数分析的相关方法对图像进行处理，如微分、导数、积分、梯度、傅里叶变换等。

反向求生成图像的函数就是图像生成模型的思路

二矩阵观点

2.1 单元素变换

通过变换函数T将图像中的每个元素r一对一的变换为s，形成变换之后的图像s=T(r)

图像反转：反转图像的灰度级，会得到类似于照片底片的效果，用于增强图像暗色区域中的细节
对数变换：将图像中较暗的部分调亮，较亮部分维持基本不变
伽马变换：根据伽马系数的不同起到不同作用，伽马系数为负时类似对数变换的效果，为正数时使图像中较亮部分更亮，增加对比度
分段线性变换：利用分段函数分别映射图像中不同区间内的像素

2.2 区域元素变换

区域元素变换就是常说的空间滤波，空间滤波通过把每个元素的值替换为该元素及其领域内元素的卷积结果值来处理图像矩阵。“滤波”是信号处理中的术语，是指修改或抑制信号中规定频率的分量，如允许通过低频的滤波器叫低通滤波器，对应到图像处理中的作用是通过模糊图像来去除图像中的噪声（噪声在信号中表现为不规则的高频）。

卷积运算的重要性质是满足交换律，所以卷积对图像旋转不敏感。

随机噪声通常是由于灰度的急剧变化组成，所以利用低通滤波器进行降噪，主要有以下几种：

盒式滤波：每个结果元素是其周围元素的平均值，卷积核是全为1的矩阵，一般会偏向于沿着垂直方向模糊图像
高斯滤波：去除随机噪声效果较好，较为常用，但是因为高斯滤波是通过减缓像素在空间上的变化幅度来进行去噪，虽然去噪效果较好，但是也会弱化图像中的边缘信息（因为图像的边缘也是变化幅度较大的地方）
中值滤波：每个结果元素是其周围元素的中值，对拍摄异常包含异常值的图像较为敏感
双边滤波：类似高斯滤波，但还会借助图像的颜色信息尽量保存图像的边缘信息

图像几何层面上（比如调整大小、旋转等）的变换分为两大类：透视变换和仿射变换

仿射变换是透视变换的一个特例，简单理解就是仿射变换不会引起原图像我们关心目标的形变，透视变换可能会引起形变。

2.3 直方图均衡化

直方图指的是图像像素值的概率分布，比如像素值100在图像中出现了50次，像素值200在图像中出现了60次，逐个统计图像中每个像素值出现的次数，用像素值作为横坐标，像素值出现的频率作为纵坐标就绘制出了当前图像对应的直方图（一个柱状图），根据概率论中的大数定律，将柱状图每个柱子的顶点进行连接形成一条光滑的曲线，这个曲线就是图像像素值的概率密度曲线，描述这幅图像像素值的分布（以上是对于灰度图像[只有一个通道]的求直方图操作，一般直方图均衡化也主要针对灰度图）。

那么什么是直方图均衡化？

直方图均衡化基于这样一个事实：如果一个灰度图的像素值分布比较均匀，那么这个灰度图会包含较多信息细节，直观表现为图像看上去更亮，某些细节人眼看起来更加清晰。

那么直方图均衡化的目标就是将我们上边求得的概率密度曲线尽量横向拉宽，这样灰度的分布就更加均匀，也就达到了上述目的，那么如何拉宽。

设原图像的像素值为r，直方图均衡化之后图像中的像素值为s,像素值的范围为[0,L]。

那么像素值s可以看作像素值r经过某个变换函数T(r)变换得到的，并且这个变换函数T需要满足以下限制：

可见变换之后像素值s的概率密度函数是一个常数，也就是均匀分布，这样就达到了我们最初的目的，证明T(r)这个变换是可行的。

上述是对于连续随机变量的操作，对应到具体图像，图像中的像素值是离散值，这时用求和代替积分即可，最终求得直方图均衡化的公式：

这就是为什么总能看到网上文章常说的“直方图均衡化就是求像素值的累积分布”。

直方图匹配、局部直方图均衡化原理相同。

2.4 形态学操作

形态学原指生物学研究动植物结构的一个分支，图像处理中的形态学是指利用具有一定形态的结构元素去度量和提取图像中的对应形状，以达到图像分析和识别的目的，一般借助集合论数据工具实现，只能处理灰度图像。简单来说，形态学还是可以看作是一种“卷积”操作，只不过“卷积”的结果是集合论里面的“在集合里”或“不在集合里”进行度量的，而不是乘法和加法度量。最基础的形态学操作是膨胀和腐蚀

膨胀：结果图像中的像素值是结构元素覆盖区域内的局部最大值
腐蚀：结果图像中的像素值是结构元素覆盖区域内的局部最小值

膨胀扩张明亮区域，腐蚀缩减明亮区域。

膨胀会填充图像中凹进去的孔洞，腐蚀会消除凸起来的突起。

基于膨胀和腐蚀的另外两种形态学操作是开运算和闭运算

开运算：先腐蚀图像，然后膨胀，用于断开图像中物体的连通区域，可分离出物体进行计数
闭操作：先膨胀图像，然后腐蚀，用于去除噪声连通物体区域

另外常用的是形态学梯度：

形态学梯度=图像膨胀结果-图像腐蚀结果

形态学梯度可产生原图像中物体的边缘。

三函数观点

将一幅图像看作是由某个函数生成的，每个(x,y)处的像素值就是这个函数的函数值f(x,y)。在这种观点下这个函数的导数是通过差分定义的，并且对于一阶导数和二阶导数有以下约定：

恒定像素值区域的导数是0
像素值变化区间起点处的导数非0
像素值变化区间内的导数非0

3.1 边缘

边缘像素是图像中灰度突变的那些像素的集合，边缘检测的目的就是通过某种方法找到这个像素集合并将这些像素进行有序的连接，形成边缘。

一般将图像看作函数，然后借助导数工具寻找这些灰度突变的像素，继而寻找到图像的边缘。具体实现时是通过各种算子，类似卷积过程，在图像上滑动这些算子完成对图像的求导操作，而这些算子是如何定义的、具体数值又是多少，是通过公式推导出来的，下面以二阶导数算子-拉普拉斯算子举例说明算子的生成过程。

上面算子的中心是(x,y)，其对应公式中的-4f(x,y)，所以对应位置处填-4，上面的点(x-1,y)对应公式中的f(x-1,y)，所以对应位置处填1，其它位置的数字同理。利用这个算子对图像进行卷积就得到了图像的二阶导数结果，继而相当于利用拉普拉斯算子提取到了图像的边缘信息，其它常见的算子如Sobel、LoG算子等同理。传统图像处理中常用的边缘检测算法是Canny算法

Canny边缘检测算法-CSDN博客

3.2 Otsu算法

otsu算法详细推导、实现及Multi Level OTSU算法实现_自编otsu-CSDN博客

深入理解 OTSU 算法（大津法——最大类间方差法）_otsu算法-CSDN博客

四特征提取

综合矩阵观点和函数观点，利用矩阵论和函数分析的方法，获取图像的特征信息，图像的特征信息指的是“此图像区别于其它图像的特点”

4.1 关键点和描述子

图像处理图像特征提取与描述_对文档进行图像处理和特征提取-CSDN博客

（题外话:数字图像处理中的特征提取一般是通过数学计算的方式，获取矩阵或者函数对应的值，将这个接近不变的值当做此图像的特征，再套用机器学习方法进行接下来的图像处理。

习惯于现代深度学习解决方式的人可能不习惯这种方式，因为深度学习只负责处理、标记数据，然后特征提取的工作完全交给模型来处理。)

五杂项附录

1.一幅图像可以定义为一个二维函数，其中x和y是空间坐标，任意一对空间坐标处的幅值f称为图像在该点的强度或灰度，当x、y和f都是有限的离散量时，我们称这幅图像为数字图像。数字图像由有限数量的元素组成，每个元素都有一个特定的位置和数值，这些元素称为像素。

2.人眼的形状近似为一个球体，由三层膜包裹：外覆的角膜和虹膜，脉络膜，视网膜。脉络膜负责提供营养，虹膜的收缩和扩展控制进入人眼的光亮，晶状体中由大量的水、脂肪、蛋白质、黄色色素组成，黄色色素会随人年龄的增大而加深，过深的话形成白内障，降低人眼对彩色的分辨能力，晶状体吸收8%的可见光，对短波长的光有较高吸收率，晶状体中的蛋白质吸收红外光和紫外光，吸收过量会伤害眼睛，眼睛最内部是视网膜，眼睛聚焦时，物体的光在视网膜上成像，视网膜上包含多个光感受器，光感受器分为锥状体和杆状体。锥状体对颜色敏感，杆状体数量多但是对颜色不敏感，对低光照敏感。

3.感知的物体颜色由物体反射的光的性质决定，没有颜色的光称为单色光或无色光，单色光的唯一属性是其亮度，因为单色光的感知亮度从黑色到灰色到白色，因此常用灰度级表示单色光的亮度，单色图像常称为灰度图像。

4.图像最大灰度值和最小灰度值之比称为动态范围，其上限取决于饱和度，下限取决于噪声。图像对比度定义为一幅图像中最高和最低灰度值之间的差。

5.空间分辨率是图像最小可分辨细节的测度，常用的单位是dpi，灰度分辨率是指灰度值最小可分辨的变化，常用的是8比特。

6.图像内插通常在图像放大、缩小、旋转和几何校正等任务中使用，是用已知的数据来估计未知位置数据的过程。常用的有：

7.图像的四则运算：将一幅图像和自身多次相加可以降低其中的噪声。图像相减可以增强图像之间的不同。图像相乘可以进行阴影校正。

8.光源通常可以分为点光源和面光源。点光源起源空间中的某个点或者无穷远处的点，光源的强度以源点到其照亮的物体间的距离平方为比率衰减，面光源是在所有方向上均匀发光的有限矩形区域。光最初从一个或多个光源出发，经世界中的单个或多个表面反射，再通过摄像机光学器件到达成像传感器。快门速度（曝光时间）直接控制到达传感器的光量，对于亮的场景，大的光圈或者是慢的快门速度会造成运动模糊。

9.形态学膨胀使物体扩张，而腐蚀使其收缩，开运算和闭运算会去掉小的孔洞，使边界平滑。

10.几个信号和的傅里叶变换等于每个信号傅里叶变换的和，傅里叶变换是线性算子。将一个信号平移后的傅里叶变换等于原始信号的傅里叶变换乘以线性移项。反向信号的傅里叶变换等于原信号的傅里叶变换的共轭。两个信号卷积的傅里叶变换等于它们傅里叶变换的乘积，两个信号乘积的傅里叶变换等于它们傅里叶变换的卷积。脉冲的傅里叶变换是常数。

11.图像金字塔和小波都将一幅图像分解为空间和频率内的多分辨率描述，传统金字塔过于完备，它们利用比原图像更多像素来描述图像分解，而小波则非常紧致，能保存分解图像和原图像大致相等。

12.空间域指的是图像本身，空间域中的图像处理方法直接对图像中的像素进行处理。空间域图像处理的两个主要类别是灰度变换和空间滤波，灰度变换对每个像素进行处理，空间滤波对图像像素的领域进行处理。

16.分段线性变换：对于不同区域的灰度使用不同的线性变换函数。

17.灰度级分层：将感兴趣区域内的灰度赋值为同一个值，其余区域赋值为另一个值。

18.比特平面分层：将灰度值表示为二进制，提取每一个二进制位的平面分解图像。最低比特平面包含最少的图像信息。

19.直方图处理：像素占据整个灰度级范围并且均匀分布的图像，将具有高对比度。

20.滤波是指通过、修改或一直图像特定频率的分量，如通过低频的滤波器称为低通滤波器，低通滤波器通过模糊图像对图像进行平滑。空间滤波通过把每个像素的值替换为该像素领域的函数值来处理图像，分为线性滤波器和非线性滤波器。

21.卷积满足交换律、结合律和分配律。

22.低通滤波器也称为平滑滤波器，用于减低灰度的急剧过渡，因为随机噪声通常由灰度的急剧过渡组成，所以平滑图像可以对图像进行降噪。

25.镜像填充：边界填充为镜像反射（中心对称）的值。

26.复制填充：边界填充为图像边界值。

27.统计排序（非线性）滤波器：中值、最大值、最小值滤波。中值滤波器适合处理椒盐噪声。

28.高通滤波器也称为锐化滤波器，可以突出灰度中的过渡。平均运算可以类比为积分运算，而空间微分可以对图像进行锐化，对于离散的图像，微分是使用差分进行定义的。图像微分可以增强边缘。一维离散函数的一阶导数定义为：

32.滤波器分为4大类：低通滤波器、高通滤波器、带通滤波器和带阻滤波器。后三种滤波器都可以通过低通滤波器进行构造。高通滤波器由1-低通滤波器得到。

33.任何周期函数都可以表示为不同频率的正弦或余弦函数的和。非周期函数也能用正弦函数和余弦函数的加权和表示，此时称为傅里叶变换。

34.当核比较小的时候（<7）空间域卷积计算有优势，核较大时傅里叶变换具有优势。

35.卷积定理：空间域中两个函数的卷积等于频率域傅里叶变换的乘积。两个傅里叶变换的卷积等于空间域中两个函数的卷积。

36.图像信息由傅里叶变换的谱确定，形状由相角确定。

39.数字图像中的噪声源出现在图像获取和传输的过程中，在获取图像时，成像传感器受各种环境因素的影响以及自身元器件的影响。

40.当噪声的傅里叶变换是常量时噪声通常称为白噪声。

41.常见的噪声模型包括高斯噪声、瑞利噪声、伽马噪声、指数噪声、均匀噪声和椒盐噪声。高斯噪声是由于电子电路噪声、传感器噪声导致的，瑞利噪声能够较好的模拟距离成像中的噪声，指数噪声用于模拟激光成像中的噪声。图像中的周期噪声是由于电气或机电的干扰产生的，周期噪声可以通过频率域滤波降低，周期噪声可以检测图像的傅里叶频谱发现，频率尖峰一般是周期噪声。

42.感知的物体颜色通常由物体反射的光决定。描述彩色光源质量的三个基本量是辐射亮度、发光强度和亮度。辐射亮度是从光源流出的总能量，单位是瓦特，发光强度是观察者从光源感知的能量，单位是流明。

43.区别不同颜色的特性通常是亮度、色调和饱和度，饱和度与所加的白光量成反比。色调与饱和度统称为色度。

44.常用的彩色模型有RGB、CMYK和HIS

45.数据压缩是指减少表示已知信息量所需的数据量的处理，数据是传递信息的手段，由于能够使用各种数量的数据来表示相同的信息量，因此说包含无光或重复信息的表示中含有冗余数据。

46.常见的数据冗余分为：