图像处理总复习4、图像恢复

1、图像去噪和恢复
2、图像校正和修补
3、图像去雾
图像去噪和恢复
图像退化与噪声
图像退化模型
无约束恢复
有约束恢复
交互式恢复

什么是图像退化
图像退化是指由场景到图像没能完全地反应场景的真实内容，产生了失真等问题。
图像退化的处理方法
无论是由光学、光电或电子方法获得的图像都会有不同程度的退化；
退化的形式多种多样。如传感器噪声、摄像机未聚焦、物体与摄像设备之间的相对移动、随机大气湍流、光学系统的相差、成像光源或射线的散射等；
如果我们对退化的类型、机制和过程都十分清楚，那么就可以利用其反过程来复原图像。、

图像退化类别
根据数字图像的获取过程，可以将图像退化分为两种类型：图像模糊和图像噪声。在图像采集过程中产生的退化现象被称为模糊；在图像记录过程中产生的退化被称为噪声

图像复原目的
去除或减轻获取数字图像过程中发生的退化；
对原始图像作一个尽可能好的估计（重建原始图像）
应用
去模糊、提高分辨率、对比度；航空侦查、遥感、辐射成像图像恢复过程及其关键
根据图像降质过程的某些先验知识，建立“退化（降质）”模型，运用和退化相反的过程，将退化图像恢复。
图像恢复准则：
要用某一客观标准来度量，则为某种准则下的最优估计

改善图像质量的两种方法：

图像的增强
• 不考虑图像降质的原因，只将图像中感兴趣的特征有选择的突出，而衰减次要信息；
• 特点：能提高图像的可读性，但改善后的图像不一定逼近原始图像， • 如衰减各种噪声、突出目标的轮廓等。
图像的复原
• 针对图像降质的原因，设法去补偿降质因素，从而使改善后的图像尽可能的逼近原始图像。
二者的目的均是为了改善图像质量

图象恢复方法分类
按采用的技术可分为：无约束和有约束
按采用的策略可分为：自动和交互
按采用的处理所在域可分为：频域和空域

噪声
噪声是图像恢复中需要重点研究的内容。
这里所说的噪声主要针对图像质量而言，可定义为图像中不希望有的部分，或者是图像中不需要的部分。
我们在生活中可以经常看到有噪声干扰的图像，比如：电视图像会由于有摩托车经过而产生亮点。
 这些亮点就是我们所说的噪声。

噪声及其特性
噪声是最常见的退化因素之一，对信号来说，噪声是一种外部干扰。
但噪声本身也是一种信号，因为它携带了噪声源的信息。

噪声的度量
人们常常只关心噪声的强度 ，可用信噪比(SNR)来表示
常见噪声
热噪声： 与绝对温度有关，又称白噪声（频率覆盖整个频谱均匀）或
高斯噪声（幅度符合高斯分布）
闪烁噪声：具有反比于频率（1/f）的频谱，也称粉色噪声
发射噪声：高斯分布（电子运动的随机性）
有色噪声：具有非白色频谱的带宽噪声

一些重要噪声的概率密度函数
噪声可以看作由概率密度函数（PDF）表示的随机变量，下面是在图像处理应用中最常见的PDF。
高斯噪声：
高斯随机变量的概率密度函数可表示为：

其中，z表示灰度值，μ表示z的平均值或期望值，σ表示z的标准差。标准差的平
方称为z的瑞利噪声
瑞利噪声的概率密度函数由下式给出：方差。
伽马噪声
伽马噪声的概率密度函数由下式给出：
指数分布噪声
指数噪声的概率密度函数由下式给出：
均匀分布噪声
均匀分布噪声的概率密度函数由下式给出：

脉冲噪声（椒盐噪声）
脉冲噪声的概率密度函数由下式给出：
各种噪声的来源
高斯噪声：电子噪声、弱光照/温度条件下的传感器噪声
瑞利分布：深度成像、超声波图像
指数和伽马分布：激光成像
椒盐噪声：快速瞬变、误切换
周期噪声：图像采集过程中的电子或电磁干扰

图像中噪声的概率密度函数举例：

图像退化示例
下图表示原来亮度光滑或形状规则的图案变得不太规则了，从而产生了
非线性的退化
摄影胶片的光敏特性是根据胶片上留下的银密度为曝光量的对数函数来表示的，光敏特性除中段基本线性外，两端都是曲线，这样，原来线性变化的亮度变得不线性了。

图像退化示例
下图表示的是一种模糊造成的退化。
对许多实用的光学成像系统来说，由于孔径衍射产生的退化可用这种模型表示。其主要特征是原来比较清晰的图案变大，边缘模糊

下图表示的是一种场景中目标运动造成的模糊退化，如果在拍摄过程中摄像机发生振动也会产生这种退化。目标的图案沿运动方向拖长，变得有叠影了
下图表示的是随机噪声的叠加，这也可看作一种具有随机性的退化。原来只有目标的图像叠加了许多随机的亮点和暗点

图像退化模型
假定成像系统是线性位移不变系统（退化性质与图像的位置无关），它的点扩散函数用h(x,y)表示，则获取的图像g(x,y)表示为：
为什么叫点扩展函数(Point Spread Function)?
如果理想图像是一个点δ(x,y)=1，且图像采集系统理想，则系统得到的实
际图像不是一个点，而是一群被扩展(spread-out)了的点h(x,y)
什么叫移不变点扩展函数(PSF)?
图像每一位置上的像素都由相同的PSF退化得到的，即spatially invariant

点扩展函数(PSF)的特点
② 扩展前δ(x,y)和扩展后h(x,y)能量守恒
N是图像的宽度(width)
M是图像的高度(height)
扩展δ(x,y) h(x,y) t
离散图像退化模型
对图像和点扩散函数均匀采样，得到离散的退化模型：
线性移不变降质算子
运动模糊
通常在拍摄过程中，相机或物体移动造成的运动模糊可以用一维均匀邻域像素灰度的平均值来表示
大气扰动模糊
这种模糊经常出现在遥感和航空摄影中，由于曝光时间过长引起的模糊可用高斯点扩散函数来表示：
式中K是一个归一化常数，保证模糊的大小为单位值，σ2可以决定模糊的程度
均匀不聚焦模糊
这是由于相机聚焦不准确引起的，虽然不聚焦由许多参数决定，如相机的焦距、相机孔的大小、形状、物体和相机之间的距离等，但在研究中为了简单起见，我们用下列函数表示聚焦不准引起的模糊
均匀二维模糊
这是最常见的一种模糊，可以用来近似聚焦不准引起的模糊。
其中L是奇数。
图像退化、复原过程
线性系统理论与运算
线性系统理论与运算
1、移不变系统
当系统的单位脉冲输入为δ(x – α , y- β)，也即输入的单位脉冲函数延迟了α、β单位时，输出为h(x – α , y- β)，即输出结果性态不变，仅在位置上延迟了α、β单位，则称这样的系统为移不变系统。显然，对于移不变系统来说，系统的输出仅与输入函数的性态有关，而与输入函数作用的起点无关。
线性系统理论与运算
2、线性移不变系统
对于一个二维线性移不变系统h(x , y)，设其输入为f(x , y)，输出为g( x , y)，线性移不变系统的运算为T，则有：
即：线性移不变系统的输出等于系统的输入与系统脉冲相应（点扩散函数）的卷积

逆滤波复原法
对于线性移不变系统而言
通常在无噪声的理想情况下，上式可简化
从上面的分析来看，一般情况下，M(u,v)不会正好是1/H(u,v)，一种常见的方法是取M(u,v)为如下函数：
图像退化和恢复实例
图(a)为一幅用低通滤波器对理想图像进行模糊得到的退化图像，所用的低通滤波器
的傅立叶变换见图(b)。根据上面提到的两种方法对图像进行恢复，得到的结果见图
©和图(d)。两者比较，图(d)的振铃效果比较小。
逆滤波复原法
从上面的公式我们可以看出，即使知道了退化函数，也不能准确地复原未退化的图像(病态问题)，原因如下：
(1) N(u,v)是一个随机函数，频谱情况未知；
(2) H(u,v)取零或非常小的值时，N(u,v)/H(u,v)就会使恢复的结果与预期的结果有很大差距；
(3) H(u,v)常随u，v与原点距离的增加而迅速减小，而噪声N(u,v)却一般变化缓慢。在这种情况下，恢复只能在与原点较近(接近频域中心)的范围内进行。

维纳滤波
逆滤波恢复方法对噪声极为敏感，要求信噪比较高，通常不满足该条件。为了解决高噪声情况下的图像恢复问题，可采用最小均方滤波器来解决，其中，用得最多的是维纳滤波器。 维纳滤波的思想是在假设图像信号可近似看作平稳随机过程的前提下，按照使恢复的图像与原图像f(x, y)的均方差最小原则来恢复图像。



采用维纳滤波器的复原过程步骤如下：
(1)计算图像g(x,y)的离散傅立叶变换得到G(u,v)。
(2)计算滤波器传递函数h(x,y)的离散傅立叶变换。
同逆滤波一样，为了避免混叠效应引起的误差，应将尺寸延拓。
(3)估算图像的功率谱密度Pf和噪声的谱密度Pn。
(4) 计算图像的估计值 。

维纳滤波应用：
图像校正和修补
几何失真
图像在获取和显示过程中，由于成像系统本身的非线性、图像获取视角的变化及拍摄对象表面弯曲等原因，产生图像几何形状的失真。


几何校正：将存在几何失真的图像校正成无几何失真的图像
在对图像定量分析前，进行此处理，以免影响分析精度
几何校正基本方法是先建立数学模型，再利用已知条件确定模型参数，最后根据模型对图像进行校正
通常由两个基本操作组成:
空间坐标变换
修改像素空间坐标，对图像平面上像素坐标位置进行校正或重新安排，以恢复其原有的空间关系
灰度内插
对空间变换后图像中像素赋予相应灰度值，以恢复原空间位置上的灰度值

假设一幅图像f,像素点坐标为(x,y),经过几何变换失真产生一幅图像g,像素点坐标为(x’, y’).该变换可表示为
空间坐标变换方法一

已知h1(x , y)和h2(x , y)条件下的校正：
直接法，由退化图像的像素坐标(x’, y’)计算出原图像对应像素的校正坐标值(x, y)，保持其灰度值不变。
• 校正后图像像素分布不规则，出现挤压、疏密不均现象，还需进行灰度内插生成栅格图像
间接法，由假设的校正图像整数坐标(x, y)计算对应退化图像的非整数坐标(x’, y’)，由其周围像素灰度内插得到其灰度值。
• 常用方法，较容易实现
常见图像几何变换



空间坐标变换方法二
未知h1(x , y)和h2(x , y)条件下的校正
用基准图像和几何畸变图像上的连接点来确定坐标变换函数h1(x , y)和h2(x , y) 连接点是像素的子集,它们在输入(失真的)和输出(校正的)图像中的位置是精确已知的
根据两图像中的连接点，建立函数关系，进行坐标变换，通常函数关系用二元多项式近似


二元多项式的线性变换：
像素灰度内插
无论用直接法还是间接法进行空间坐标变换，都可能产生非整数的x’和y’.坐标，这样会g(x’,y’)得到空的灰度值.所以有必要基于整数坐标的灰度值去推断那些位置的灰度值.常用的灰度插值方法：
最邻近像元法
双线性内插法
三次内插法
最近邻元法：选择距离最近的邻像素灰度
像素灰度内插
最近邻元法优点：
• 简单快速
• 灰度保真度好
缺点：
• 误差大
• 灰度不连续性造成
视觉特性差
锯齿现象

双线性内插法: 用4个最近邻点做两个方向内插

双线性内插法特点
计算邻近各点的灰度特征，灰度过渡平滑，效果较好，但计算量大
• 具有低通滤波性质，图像轮廓产生模糊

三次内插法：三次多项式近似表示
三次多项式内插
利用周围16个邻点像素值
灰度内插公式为
三次多项式内插特点
• 计算量大，效果最好，精度最高
图像去雾
图像去雾操作的背景：
雾、霾等恶劣天气条件下，各种拍摄所得图像都会存在对比度下降、清晰度下降、颜色改变等问题，从而导致图像质量下降，降低了图像的使用价值。
影响：
在雾、霾天气下，由于物体能见度降低，监控系统拍摄到的画面的对比度下降
道路尤其是高速公路在雾、霾天气下发生车辆追尾等交通事故的概率增加
卫星遥感监测系统在雾霾等恶劣天气下获得的图像质量大大下降

基于暗通道先验去雾方法
大气散射模型（简化）
本文采用的物理模型被称作 McCarney 大气散射模型 , 其广泛用于计算机视觉和图形学领域中 。根据光在雾天传输的物理特性 ,其描述为
其中，I(x)就是我们现在已有图像（待去雾的图像），J(x)是要恢复的无雾图像，A是整体环境光 （也称大气光、天空光），t(x)为大气透射率。现在的已知条件就是I(x)，要求目标值J(x)，显然，这是个有无数解的方程，因此，就需要一些先验知识。
对于没有雾的图像，在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。换言之，该区域光强度的最小值是个很小的数值。我们给暗通道一个数学定义，对于任意的输入图像J，其暗通道可以用
下式表达：

例：如下所示为某彩色图象的7*7三通道像素值，求每个像素2邻域
暗通道

暗通道先验效果——无雾图像


暗通道先验——有雾图像

暗通道去雾算法——透射率估计

在现实生活中，即使是晴天白云，空气中也存在着一些颗粒，因此，远处的物体还是能感觉到雾的影响，另外，雾的存在让人类感到景深的存在，因此，有必要在去雾的时候保留一定程度的雾，这可以通过在式（11）中引入一个在[0,1] 之间的因子，则式（11）修正为
透射率t显示图

暗通道去雾算法——大气光值(A)
上述推论中都是假设全球大气光A值是已知的，在实际中，我们可以借助于暗通道图来从有雾图像中获取该值。具体步骤如下：
• 1） 从雾化暗通道图中按照亮度的大小取前0.1%的像素。
• 2） 在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值，作为A值。
• 到这一步，我们就可以进行无雾图像的恢复了。由式（1）可知：
• J = ( I - A)/t + A
• 现在I,A,t都已经求得了，因此，完全可以进行J的计算
暗通道去雾结果

暗通道去雾中各参数对去雾结果的影响
• 窗口大小对去雾结果的影响
• 暗通道求取时滤波器的窗口大小对处理结果来说是个至关重要的参数，滤波器窗口越大，它所包含暗通道的概率越大，暗通道就会越黑。如果不从理论角度分去析，只从实际的结果来看，似乎窗口变大以后去雾的效果会欠佳，如下图所示：


w 值对去雾结果的影响
• 式 （12）中 w 表征图像的去雾程度，设置该参数是为了使恢复后的图像保留一定程度的雾让图像看起来更为真实。显而易见 w 值越小，去雾后图像效果越差，示例如下：

A值作为大气光的估计点，有可能为图像中的灯光或光源，导致去雾后图像亮度低于原图像；
 去雾图像可能出现光晕效应，可通过引导滤波解决这一问题，但是去雾不彻底；
 去除光晕效应可以通过设置可变窗口尺寸、设置可变透射率、改变大气光值的获取方法等对暗通道去雾法进行改

引导滤波后结果

去雾效果评价
• 可见边缘梯度法
可见边缘梯度法是常用的图像评价方法，他借用能见度（VL）,评价去雾图像的视觉质量。可表示为
• 去雾后新增可见边缘之比E

NJ和NI分别代表去雾和有雾图像中可见边缘数目。E数目越大代表去雾图像中的可见边缘数越多。

• 可见边缘的梯度均值G