数字图像处理学习笔记（三）

第五章 图像复原与重建

$$除了对物体的感知，我们什么也不知道。——伊曼努尔•康德$$

引言

图像复原技术的主要目的是以预先确定的目标来改善图像。

图像增强主要是一个主观过程，而图像复原则大部分是一个客观过程。

图像复原设立一个最佳准则，它将产生期望结果的最佳估计。

图像增强技术基本上是一个探索性过程，即根据人类视觉系统的生理特点来设计一种改善图像的方法

5.1图像退化/复原过程的模型

设退化函数H为线性、位置不变的过程。空间域中的退化图像公式：
$$g(x,y)=h(x,y)\ast f(x,y)+\eta (x,y)$$
h(x, y)是退化函数的空间表示，符号“*”表示空间卷积。

等价的频率域表示：

$$G(u,v)=H(u,v)F(u,v)+N(u,v)$$
大写为对应的傅里叶变换。

退化/复原模型：

5.2噪声模型

噪声主要来源于图像的获取和/或传输过程。

噪声频率特性：

是指傅里叶域中噪声的频率内容（即相对于电磁波谱的频率）。

白噪声：

当噪声的傅里叶谱是常量时，噪声通常称为白嗓声。

高斯噪声：

由于高斯噪声在数学上的易处理性，故实践中常用这种噪声（也称为正态噪声）模型。

$$p(z)=\frac{1}{\sqrt{2}\pi \sigma }{e}^{-(z-\tilde{z}{)}^2/2{\sigma }^2}$$
z 表示灰度值，Z ̿表示 z 的均平均值，σ表示z的标准差。标准差的平方σ2称为z的方差。

瑞利噪声：

$$p(z)=\{\begin{array}{ll}\frac{2}{b}(z-a)e^{-(z-a{)}^2/b},& \text{z ≥a}\\ 0,& \text{z <a}\end{array}$$

爱尔兰(伽马)噪声：

$$p(z)=\{\begin{array}{ll}\frac{a^b{z}^{b-1}}{(b-1)!}{e}^{-az},& \text{z ≥a}\\ 0,& \text{z <a}\end{array}$$

指数噪声：

$$p(z)=\{\begin{array}{ll}a{e}^{-az},& \text{z ≥ 0}\\ 0,& \text{z <0}\end{array}$$

均匀噪声：

$$p(z)=\{\begin{array}{ll}\frac{1}{b-a},& \text{z ≤a≤b}\\ 0,& \text{其他}\end{array}$$

脉冲(椒盐)噪声:

$$p(z)=\{\begin{array}{ll}{P}_a,& \text{z = b}\\ P_b,& \text{z = b}\\ 1-P_a-P_b,& \text{其他}\end{array}$$
如果 b>a，则灰度级 b 在图像中将显示为一个亮点；反之，灰度级 a 在图像中将显示为一个暗点。若Pa或Pb为零，则脉冲噪声称为单极脉冲。

如果Pa和 Pb两者均不可能为零，尤其是它们近似相等时，则脉冲噪声值将类似于在图像上随机分布的胡椒和盐粉微粒，故双极脉冲噪声也称为椒盐噪声 也称为散粒噪声和尖峰噪声。

**高斯噪声源于诸如电子电路噪声以及由低照明度和／或高温带来的传感器噪声。瑞利密度有助于在深度成像中表征噪声现象。指数密度和伽马密度在激光成像中有用，脉冲噪声在快速过渡的情况下产生，如在成像期间发生的错误开关操作。均匀密度可能是实践中描述得最少的，然而，均匀密度作为仿真中使用的许多随机数生成器的基础是非常有用的。
**

周期噪声：

在图像获取期间由电力或机电干扰产生的。也是一种空间相关噪声。周期噪声可通过频率域滤被来显著地减少。

周期噪声的参数是通过检测图像的傅里叶谱来估计的。

周期噪声趋向于产生频率尖峰，甚至通过视觉分析也经常可以检测到这些尖峰。

5.3空间滤波

仅存在加性噪声的情况下．可以选择空间滤波方法。

以下为均值滤波器：

算术均值滤波器：

$$\hat{f}(x,y)=\frac{1}{mn}\sum _{(s,t)ϵS_{x}y}g(s,t)$$
均值滤波平滑一幅图像中的局部变化。虽然模糊了结果，但降低了噪声。

几何均值滤波器：

$$\hat{f}(x,y)=[\prod _{(s,t)ϵS_{x}y}g(s,t){]}^{\frac{1}{mn}}$$
几何均值滤波器实现的平滑可与算术均值率波器相比．但这种处理中丢失的图像细节更少。

谐波均值滤波器

$$\hat{f}(x,y)=\frac{mn}{{\sum }_{(s,t)ϵS_{x}y}\frac{1}{g(s,t)}}$$
谐波均值滤波器对于盐粒噪声效果较好，但不适用于胡椒噪声。 它善于处理像高斯噪声那样的其他噪声。

逆谐波均值滤波器

其中 Q 称为滤波器的阶数。 这种滤波器适合减少或在实际中消除椒盐噪声的影响。当Q 值为正时，该滤波器消除胡椒噪声；当Q值为负时，该滤波器消除盐粒噪声。但它不能同时消除这两种噪声。注意，当 Q=0时，逆谐波均值滤波器简化为算术均值滤波器；而当 Q = -1 时，则为谐波均值滤破器。

统计排序滤波器

中值滤波器：

最大值和最小值滤波器

中点滤波器

修正的阿尔法均值滤波器

邻域 sxy 内去掉 g(s, t）最低灰皮值的d/2和最高灰度值的d/2。令 gr(S, t）代表剩下的 mn-d个像素。d 的取值范围可为 0 到 mn – 1。

自适应滤波器

自适应局部降低噪声滤波器

（1）如果为0，滤波器应该简单方晖g（x,y）的值
（2）如果局部方差与是高度相关的，那么滤波器要返回一个g(x,y)的近似值。
（3）如果两个方差相等，希望滤波器返回区域Sxy上像素的算术均值。

一个关键的问题是全部噪声的方差未知，需要进行估计，合理的估计会带来较好的滤波效果。

适用：防止由于缺乏图像噪声方差知识而产生的无意义结果，适用均值和方差确定的加性高斯噪声。

自适应中值滤波器

大致步骤：确定中值滤被器的输出Zmed是否是一个脉冲.,如果不是脉冲，判断窗口中心点是否是脉冲。不是脉冲则不改变灰度值，是脉冲则将中值输出。如果中值滤波器找到的中值是脉冲，则扩大窗口直到找到的中值不知脉冲。则继续判断窗口中心点。

5.4 用频率域滤波消除周期噪声

在傅里叶变换中，周期噪声在对应于周期干扰的频率处，以集中的能量脉冲形式出现。其方法是用一个选择性滤波器分离出噪声。

以下为常使用滤波器与滤波方法。

带阻滤波器：

带阻滤波器的主要应用之一是在频率域噪声分量的一般位置近似已知的应用中消除噪声。

带通滤波器

与带阻滤波器相反

陷波滤波器：

陷波滤波器阻止（或通过）事先定义的中心频率的邻域内的频率。

最佳陷波滤波：

第一步屏蔽干扰的主要成分，然后从被污染的图像中减去该模式的一个可
变的加权部分。

5.5 线性、位置不变的退化

具有加性噪声的线性空间不变退化系统，可在空间域建模为退化（点扩散）函数与一幅图像的卷积，然后再加上噪声。 基于卷积定理，在频率域中，同样的过程可表示为图像和退化函数的变换的乘积，然后再加上噪声的变换。许多类型的退化可近似为线性、位置不变的过程。 这种方法的优点是可以使用许多线性系统理论的工具来解决图像复原问题。与位置有关的非线性技术虽然更普遍（通常会更精确），但它们会带来没有已知解的困难，或者解决计算问题时非常困难

5.6 估计退化函数。

使用以某种方式估计的退化函数来复原一幅图像的过程，有时称为盲目去
卷积 ，因为真正的退化函数很少能完全知晓。

图像观察估计：

令 gs（x,y）表示要观察的子图像，令 fs (x, y）表示处理过的子图像（现实中．该图像是原图像在该区域的估计图像） 。

试验估计：

使用与获取退化图像的设备相似的装置，将图像退化到尽可能接近我们希望复原的程度。

函数 G(u, v）是观察图像的傅里叶变换， A 是一个描述冲激强度的常量

建模估计：

是从基本原理开始推导一个数学模型。

5.7 逆滤波

前面研究了退化函数的获取，后面是研究，得到退化函数与退化的图像后，复原图像的方法。

5.8 最小均方误差（维纳） 滤波

逆滤波方法并没有清楚地说明怎样处理噪声。

一个复数量与其共辄的乘积等于该复数量幅度的平方。这个结果就是众所周知的维纳滤波。

未退化图像的功率谱很少是己知的。当这些量未知或不能估计时，经常使用的一种方法是由下面的表达式来近似：

逆滤波和维纳滤波的比较。
需要实际进行比较，运行代码。

5.9 约束最小二乘方滤波

将图像用表示为矩阵-向量形式，可以把图像复原问题简化为简单的矩阵操作。实际使用时，该方法会有非常大的计算量。明确地以矩阵形式来表达复原问题确实可以简化复原技术的推导。

P(u,v)是函数p(x,y)的傅里叶变换。

该方法的核心是 H 对噪声的敏感性问题。

约束最小二乘方意义下的最佳复原在视觉效果上并不意味着最好。

比较约束最小二乘方滤波和维纳滤波的结果，发现前者对于高噪声和中等噪声的情况，产生的结果要稍好一些，而对于低噪声情况，两种滤波产生基本相等的结果。当手工选择参数以取得更好的视觉效果时，约束最小二乘方滤波的效果有可能比维纳滤波的效果更好。

5.10几何均值滤波

维纳滤波器稍加推广就是所谓的几何均值滤波器的形式 ：

其中，α和β是正的实常数。

5.11 由投影重建图像

X 射线计算机断层（CT）这是最早且应用最广泛的 CT 类型，也是当前数字图像处理在医学中的主要应用之一。

X 射线计算机断层的目的是使用 X 射线从许多不同的方向穿过物体而得到该物体内部结构的三维描述。

5.12小结

本章考虑的是图像复原中常见的问题与解决方法。先介绍了图像的退化的原理，接着介绍引起图像退化的噪声。以及我们如何找到图像退化函数，以及之后的利用找到的图像退化函数，对图片进行复原。在找退化函数时，利用到了之前学到的滤波器，来得到退化函数。

第六章彩色图像处理

彩色的运用受两个主要因素的推动。

第一，颜色是一个强有力的描绘子，它常常可简化从场景中提取和识别目标；

第二，人可以辨别几千种彩色色调和亮度，但相比之下只能辨别几十种灰度色调。 第二个因素在人工图像分析中特别重要。

彩色图像处理可分为两个主要领域：
全彩色处理和伪彩色处理。

6.1彩色基础

色光三原色，即R（红Red）、G（绿Green）、B（蓝Blue）
三色混合为白色

颜料三原色：C（青绿Cyan）、M（品红Magenta）、Y(黄Yellow)，也通常和美术中一样称呼
三色混合为黑色

色调是光波混合中与主波长有关的属性。色调表示观察者感知的主要颜色。当我们说一个物体为红色、橙色或黄色时．指的是其色调。

饱和度指的是相对的纯净度，或一种颜色混合白光的数量。纯谱色是全饱和的。如深红色（红加白）和淡紫色（紫加白）这样的彩色是欠饱和的，饱和度与所加白光的数量成反比。

色调与饱和度一起称为色度

形成任何特殊彩色的红、绿、蓝的数量称为三色值，并分别表示为 X,Y和 Z。
对可见光谱内光的任何波长，用于产生对应于该被长的颜色所需的三色值可直接从大量实验结果编制的曲线或表中得到。

6.2 彩色模型

现在所用的大多数彩色模型不是面向硬件（如彩色监视器和打印机）的，就是面向应用的

RGB 彩色模型

在 RGB 空间中，用于表示每个像素的比特数称为像素深度。 红色，绿色和蓝色三种颜色分别被量化成0—255共256个等级。当图像被量化成256256256时，该彩色图像就有256256256=16777216种彩色。当量化等级为256级时称图像为全彩色图像

应该注意的是当一张图片中各个像素的R、G、B三种颜色的分量都相同时，图片就是一个无彩色灰度图像。

CMYK 彩色模型：

RGB 到 CMY 的转换：

所有的彩色值都归一化到了范围（0, 1 ）内

这种影色模型主要用于产生硬拷贝输出。即在纸上沉积彩色颜料的设备，如彩色打印机和复印机。

CMYK 彩色模型：

为了生成真正的黑色（即在打印中起主要作用的颜色），加入了第 4种颜色——黑色，提出了 CMYK 彩色模型。

HSI 彩色模型

RGB 模型、 CMY 模型和其他类似的彩色模型不能很好地适应实际上人解释的颜色。

HSI（色调、饱和度和强度）该模型可在彩色图像中从携带的彩色信息（色调和饱和度）中消去强度分量的影响，这种彩色描述的对于人来说是自然且直观的。

从RGB到HSI的彩色转换：

从 HSI 到RGB 的彩色转换

6.3 伪彩色图像处理

伪彩色 （也称为假彩色）图像处理是指基于一种指定的规则对灰度值赋以颜色的处理。

灰度分层：

取任意一个灰度值，以该灰度值做平面，平面上面的任何灰度级的像素将编码成一种彩
色，该平面之下的任何像索将编码成另一种颜色。位于平面上的灰皮级本身被任意赋以两种彩色之一。

类似二值化的过程。
图像表示如下

灰度到彩色的变换

对任何输入像素的灰度执行 3 个独立的变换。 然后，将 3 个变换结果分别送入彩色电视监视器的红、绿、蓝通道。 这种方法产生一幅合成图像，该合成图像的彩色内容曲变换函数的特性调制。

多幅图像可用时，按照需要，将图像数据进行处理，得到满足要求的彩色图像。

$$总之，知道彩色图像的数据结构后，我们可以将图像按照我们的要求进行组合，来生成想要的彩色图像。$$

6.4 全彩色图像处理基础

全影色图像处理方法分为两大类。第一类是分别处理每一幅分量图像，然后由分别处理过的分是图像来形成一幅处理过的合成彩色图像。 第二类是直接处理彩色像素。 因为全彩色图像至少有3个分量，所以彩色像素实际上是向量。

彩色分量是坐标(x,y)的函数，表示为

单个彩色分量处理的结果并不总等同于彩色向量空间中的直接处理，在这种情况下 ． 我们必须采取新的表达方法。
为了使每种彩色分量处理和基于向量的处理等同，必须满足两个条件：
第一，处理必须对向量和标量都可用：
第二，对向量的每一分量的操作对于其他分量必须是独立的。

6.5 彩色变换

彩色变换模型：

g(x,y)=T[f(x,y)]
f(x,y）是彩色输入图像，g(x,y）是变换后或处理过的彩色输出图像，T是在（x, y）的空间邻域上对f的一个算子。

在HSI模型中，0。和360。相遇处有一个不连续点；
色调对于0饱和度（即对白色、黑色和纯灰色）未定义。

理论上，任何变换都可在任何彩色模型中执行。然而，实际上，某些操作对特定的模型比较适用。对于一个给定的变换，表示法之间转换的代价是必须判定相关的彩色空间，然后再在该空间上执行该转换。

补色：

彩色环上，与色调直接相对的另一端被称为补色。补色对于增强嵌在彩色图像暗区的细节很有用——特别是区域在大小上占优势时。

彩色分层：

突出图像中某个特定的彩色区域对从其周围分离出目标物。
所有彩色分层方法都要求每个像素变换后的彩色分量是所有 n个原始像素的彩色分量的函数。

色调和彩色校正：

监视器和最终输出设备之间保持色彩的高度一致性是必要的。监视器的颜色应准确地表示任何数字扫描的源图像和最后的打印输出。最好用独立于设备的彩色模型来实现。

彩色处理系统使用的CIELAB模型：

6.6 平滑和锐化

彩色图像平滑

灰度级图像平滑可以看成是一种空间滤波操做，彩色图像处理中使用分量向量来替代灰度标量值

邻域平均平滑可以在每个彩色平面的基础上执行。其结果与使用 RGB 彩色向量执行平均是相同的。

彩色图像锐化

可以通过分别计算每一幅分量图像的拉普拉斯来计算全彩色图像的拉普拉斯，从而达到锐化的效果。

6.7 基于彩色的图像分割

对图像进行分割，本质是按照我们的要求设置对应的阈值，将图像信息按照阈值分为我们需要的各个模块。

HSI 彩色空间的分割

可以使用色调、饱和度作为阈值，将图像进行分割。

RGB 向量空间中的分割

取R、G、B的平均色彩，构成一个三维向量Z（r，g，b）。可以将之看做三维空间的一个点，各像素到该点的距离可以看做是三维空间中的另外一个点，之后判断各像素点到该点的距离是否在我们设置的阈值，就可以将图像进行分割。

彩色边缘检测

灰度图像是使用梯度来进行边缘判断。彩色图像同样使用梯度进行判断。由于梯度是矢量，所以在使用RGB各分量求梯度在进行合成时，会产生错误结果。所以使用了向量的梯度，来进行判断。

6.8 彩色图像中的噪声

彩色图像的噪声内容在每个彩色通道中具有相同的特性， 但噪声对不同的彩色通道所造成的影响不同。

在仅有一个 RGB 通道受噪声影响的情况下，到HSI的转换才将噪声扩散到所有 HSI 分量图像。

全彩色图像滤波可以在每一幅图像的基础上或依靠该过程直接在彩色向量空间中执行。

$$\begin{gathered} 噪声体现在图像数据上与其他图像值没有什么区别，所以在进行彩色空间 \\ 转换时，与其说是看噪声变换，不如说是彩色空间转换过程中，图像像素值的变换。 \end{gathered}$$

6.9 彩色图像压缩

任何压缩对象的数据是每个彩色像素的分量（RGB 图像中各像素的红、绿、蓝分量）；它们是传达彩色信息的方式。压缩是减小或消除冗余和／或不相干数据的处理。

6.10小结

本章引入了彩色图像的知识。我理解为是一种图像数据结构，灰度图，每个像素点只有一个代表灰度大小的值，在显示时，直接根据灰度大小显示该图片。而彩色图像（RGB）每个像素点使用了三个数据，即RGB三个数值，代表一个像素点的颜色，在显示时，使用对应的方式，将该点颜色显示出来。
介绍了一些常见的颜色显示的原理与方式（色彩空间），以及各色彩空间的转换方式。后面则是关于彩色图像的一些应用。包括图像的锐化与平滑，彩色图像的分割。本质是在对图像所对应的数据，按照我们的需要进行处理。