图像处理（数字图像处理）

工作需要，兴趣所然。

0.视觉的特点：多义性、错觉。 

        0.1.机器视觉：通过电子化感知和理解（数字）图像。

1.什么是图像处理：

使用计算机对图像进行分析、加工、处理以满足不同的要求。是信号处理的一个分支。

        2.图像处理：

                低级处理：图像预处理、对比度增强、图像锐化等。

                中级处理：分割、特征提取、识别、分类等。

                高级处理：图像理解、机器视觉。

        3.图像处理一般步骤：

                获取-增强-（主观）-复原（客观）-彩色图像处理-小波变换-多分辨率处理-压缩-形态学处理-分割-表示与描述-目标识别

        4.取样：数字化坐标值（图像的象素单位）。量化：数字化幅度（每个象素的具体的值）。

        5.邻域：4邻域（上下左右）。8邻域（上下左右+左上右上左下右下）

        6.距离：

                欧式距离D4:d=[(x1-x2)^2+(y1+y2)^2]^1/2

                街区距离D4:d=|x1-x2|+|y1-y2|

                棋盘距离D8:d=max(|x1-x2|,|y1-y2|)

7.图像增强：对图像（某些）特征进行处理（突出或者去除）。分为空间域处理和频域处理。

        空间域：直接对图像象素进行处理。

        频域：先进性傅里叶变换，然后进行处理。

        7.1：图像增强的方法：灰度变换、代数运算、空间域滤波（空间域增强）、频域滤波（频域增强）。

        7.2：灰度变换：线性变换、非线性变换。

        7.3：代数运算：加法减法乘法运算。

        7.4：空间域滤波和频域滤波：低通、高通等滤波器。

        灰度变换：直接对图像像素的灰度级进行操作。

                线性变换：反转、灰度拉伸、分段线性变换。

                非线性变换：对数变换、幂次变换、直方图均衡。

                对数变换：对数函数——对暗区拉伸较大，亮区较小压缩。窄带低灰度图像映射为宽带输出图像。（窄带是指灰度直方图的分布动态范围较窄）

                幂次变换：幂函数——r>1对亮区较大的压缩，反之。

        直方图均衡：灰度变换之后原灰度和现灰度存在某种函数关系，那原直方图和现直方图之间是否也会存在某种函数关系？经推导现直方图=原直方图/变换函数的导数。所以可以直接通过变换直方图对图像进行增强。也就是使变换之后的直方图分布更加均衡。

                D为某个灰度级，Dm是灰度级个数，Db是变化后，Da是原，A0是像素个数。

        代数运算：

                加法运算：多幅图像相加：去除叠加性噪声。多用于视频图像处理（多幅图像相加求平均）。

                减法运算：两幅图像相减：分割特定区域、检测场景变化。

                乘法运算：两幅图像相乘：获取图像中特定的部分。

        7.5.空间域滤波：从信号与系统之间的关系进行分析。空间域滤波相当于对原图像进行卷积。

                空间均值滤波器：卷积核均为1。——去噪、平滑，边缘模糊、提取感兴趣区域物体。

                空间 高斯低通滤波器：121——去噪、平滑、边缘模糊、提取感兴趣区域物体（先滤波再二值化等）。

                 空间中值滤波器：排序取中间值。——去噪同时保留边缘。——消除孤立亮点或暗点。——去除脉冲噪声（黑白点）（椒盐噪声）

                空间 高通滤波器：——突出细节，增强边缘（图像锐化）。

                        低通：积分（求和）运算。

                        高通：微分（差分）运算，求像素的梯度值（水平和垂直梯度）。

                        一阶差分的图像增强：一阶导数可以检测某像素点是否在边缘上，二阶导数可以判断像素点在亮或者暗的一边。

                        算子用来提取边缘，原图像＋梯度（边缘）就完成图像的锐化。也就是基于梯度的图像增强。

                        Robert算子：交叉差分算法。

                        Prewitt算子：

                        Sobel算子：对中间点进行加权。对噪声敏感度低，可以检测边缘的方向。无法判断像素在哪一边。

                         二阶差分的图像增强：

                         Laplace算子：对噪声敏感，无法检测边缘方向。可以对边缘定位。

         7.6.频域滤波：先进行傅里叶变换，再乘以系统函数H，得到结果后再傅里叶逆变换。

                频域低通滤波器：去除高频部分，细节被平滑。可以去噪。去除栅格。文本图像中字符失真、断裂修复。

                三种低通滤波器：理想低通滤波器，巴特沃斯低通滤波器，高斯低通滤波器。

                        理想低通滤波器：截至频率之外的频率都无法通过。如何选择截至频率呢？——看某个截至频率内的功率占比。存在振铃现象（根据h看）

                         巴特沃斯低通滤波器：存在振铃现象（n>3时出现）（根据h看）

                        高斯低通滤波器：，没有振铃现象，但是相同的截至频率，没有巴特沃斯的效果好。

         频域高通滤波器：去除低频成分，增强细节，进行图像锐化。（获得边缘然后与原图进行叠加）

        三种高通滤波器：理想高通、巴特沃斯、高斯高通滤波器。

                        理想高通滤波器：振铃现象严重。

                        巴特沃斯滤波器：存在振铃现象。

                        高斯高通滤波器：无振铃现象。

                        低通滤波器和高通滤波器只能解决加性噪声，不能解决乘性噪声或者卷积噪声。

         7.7.同态滤波：基于图像的成像模型，在频域压缩灰度动态范围，增强对比度。

         图像的成像模型：

                在设计H时，对低频进行压缩，对高频进行增强，增强对比度。

8.图像处理的三个基本函数：

线性处理：所有象素统一处理

对数处理：不同象素不同处理

幂次函数处理：不同象素不同处理

9.图像反转：s=l-1-r(l为象素级（8、16、256等）r为原像素值)

245=256-1-10

10.幂次变换：伽马校正：显像管时显示并非线性以及更好的显示亮度，所有在显示时进行伽马校正还原。伽马校正(Gamma Correction)_Jeff-Chow000的博客-CSDN博客_伽马校正

11.分段线性变换：

灰度切割：提高自己所关心区域的灰度值。

位图切割：不提高灰度范围的亮度，而是通过对特定位（特定灰度值）提高亮度。

12.直方图处理：每个灰度的个数统计图。

直方图均衡化：把图像的亮暗调均衡。用于图像增强。也可以用于图像分割。

13.局部增强：

用算数/逻辑操作增强：提取感兴趣区域。（与或非模板，加法或减法）

减法：增强两幅图像的差异。

14.平滑空间滤波器：积分

模糊处理/降噪：线性/非线性。

平滑线性滤波器：均值：用某个邻域内的某个值来代替此象素。——处理高斯噪声（白噪声）。

非线性滤波器：中值、最大值、最小值、中点、统计滤波器：某邻域内的值进行排序之后的某值代替此象素。——处理椒盐噪声（黑白点）。

15.空间锐化滤波器：微分（二阶好于一阶）——象素的突变程度、突出或者增强细节。

一阶算子：Reborts、Sobel、Prewitt算子

二阶算子：Laplace、LOG算子

16.加性噪声：不管有无信号，噪声都存在。

乘性噪声：信号没有噪声就没有。

17.频域图像增强：前处理——傅里叶变换——滤波器——傅里叶逆变换——后处理。

18.形态学处理：可以用来边界提取，识别物体形状（击中击不中变换对）。

腐蚀——减少——消除粘连、去除区域、去噪。与运算，求交集。

膨胀——增加——连接间隙、填充小洞。或运算，求并集。

开运算：先腐蚀后膨胀：去噪，断开连接。消除小物体，平滑边界。

闭运算：先膨胀后腐蚀：填充；连接邻近物体；锐化。

19.图像分割：提取感兴趣区域，然后进行识别。

        基于阈值的分割方法：灰度或者颜色区别。

        基于边缘的分割方法：找到边缘利用边缘进行分割。

        基于区域的分割方法：内部扩张到外部。

        基于学习的方法：预处理，特征提取，分类器训练。

19.1.基于阈值的分割方法：

        基于全局的阈值/基于局部的阈值/基于动态的阈值。

        选取阈值：直方图技术、最小误差阈值法、最大方差阈值法。

        直方图技术：灰度差别大。

        基于直方图的全局阈值法：确定初始阈值，将像素分为两组，然后计算两组的平均灰度为新的阈值，重复步骤，直到阈值差很小或者小于某个设定值。

        最小误差阈值法：需要知道概率分布。

         最大方差：先用直方图选取初始阈值，分为两组像素，计算两组像素之间的方差，找到方差最大时的阈值。（常用）

19.2.基于边缘的分割：找到边缘，利用边缘分割。

        点检测：

         线检测：

         边缘提取：一阶或者二阶导数、高通滤波器。

         canny算子：多级边缘检测算子。

        Canny算子过程：先降噪（高斯低通）；计算梯度（四个方向）；非极大值抑制（沿着梯度方向找局部最大值）；边缘跟踪（双阈值检测+边缘跟踪）

霍夫变换：解决边界点不连续（需要连接边界点，构成完整的边界——找多个点的共线）可以检测直线或者曲线。可以进行图像校正。

        霍夫变换：将原方程转换到参数平面，在参数平面相交直线最多的点，对应原平面的直线为所求的直线。

        优点：抗噪强，检测直线或曲线。

        缺点：需要进行二值化以及边缘检测，会损失信息。

19.3.基于区域的图像分割：区域生长法、分裂合并法。

        区域生长法：选取种子点、判断周围像素是否相似、合并相似点、迭代。

        如何确定种子？人机交互法/基于直方图

        如何判断相似？基于区域灰度差/基于区域灰度分布统计性质（先将像素分为不重叠的小区域，基于不同区域之间的灰度直方图的相似性进行合并）

        区域分裂合并法：先将图像分为不重叠的区域，然后合并或者分裂这些区域（根据某种条件）