图像增强技术简述

图像增强技术

图像增强的定义：采用一系列技术去改善图像的视觉效果，或将图像转换成一种更适合于人或机器进行分析处理的形式。

根据图像的作用域，主要分成两大类：一类是基于空间域，直接对图像各像素进行处理；另一类是基于变换域，在图像的某个变换域内，对图像的变换系数进行运算，然后通过逆变换获得图像增强效果。

图像增强的目的主要有三点：1.改善视觉效果
2.突出图像中感兴趣的信息，抑制不重要的信息，来提高图像的使用价值
3.转换为更适合于人或机器分析处理的形式

4.增强后的图像不一定保真

图像增强技术的总体框图如下：

总体框图

 

• 空间域处理

空间域图像增强的主要方法：

• 增强对比度：扩大图像中感兴趣特征，主要的方法为灰度变换法和直方图调整法

1.1灰度变换法

灰度变换是图像增强的重要手段之一，通过调整图像的灰度动态范围或调整图像的对比度对图像进行调整，其中对比度通俗讲为明暗的对比强度。

灰度变换法可分为三类：

1.1.1线性变换：生成图像灰度值为原来的线性变化(曝光不足或过度)

灰度线性变换可以由以下公式描述 ：

式中，D 为原始图像的灰度值，Dt 为线性灰度变换后的图像灰度值。

灰度线性变换实例：

图1为原始图像，其他均为变换后的图像。与原始图像相比，图2中由于beta的值较大，明显地提升了图像的整体亮度，黑色区域也因为亮度提升而变为灰色；图3则相反，整体亮度降低，白色区域变为了灰色；图4由于alfa>1，图像的对比度增强了；图5则相反，对比度下降了；而图6 alfa<0，则图像的暗区域变亮，亮区域变暗，图像求补

 

灰度线性变换的效果总结如下：

1.1.2分段线性变换：将不同段的灰度值经不同的线性函数生成图像(只对图像中部分目标感兴趣，这时候需要突出感兴趣目标所在的灰度区间，抑制不感兴趣的灰度区间)，利用分段变换，可以将图像某一区间的灰度值扩大，从而将灰度值集中在某一区间的图像对比度增强

分段线性变换实例：

      设计分段线性变换函数如下：

效果展示如下：

左侧为原始图，右侧为分段线性变换后的效果图，可以看出经过分段变换后，图像的整体亮度提高了，图像较暗部分的对比度也增强了

1.1.3非线性灰度变换

非线性变换是指图像中像素值的变换不是简单的比例缩放，而是通过一些函数进行变换。与线性变换相比，非线性变换可以更加灵活地改变图像像素值的分布，从而实现更多样化的图像处理效果。非线性变换使用非线性函数作为映射函数，如对数变换和伽马变换

对数变换：生成图像灰度值为原来的对数变化(与人的视觉匹配)；由于对数曲线在像素值较低的区域斜率大，在像素值较高的区域斜率较小，所以图像经过对数变换后，较暗区域的对比度将有所提升。

图像灰度的对数变换一般表示：

对数变换实例：

c取50

 

左侧为原始图，右侧为对数变换后的效果图。可以看出，由于原图较暗，很难看清具体的细节，而变换后有较明显的改观，对数变换增加了低灰度区域的对比度，从而增强暗部的细节。

 

伽马变换：生成图像灰度值为原来的指数变化；

图像灰度的伽玛变换一般表示：

• 当γ>1时，会拉伸图像中灰度级较高的区域，压缩灰度级较低的部分
• 当γ<1时，会拉伸图像中灰度级较低的区域，压缩灰度级较高的部分
• 当γ=1时，该灰度变换是线性的，此时通过线性方式改变原图像

伽马变换实例：

c取4，γ取6.031e-8

左侧为原始图，右侧为伽马变换后的效果图。可以看出，由于原图较亮，亮处的细节较难不够明显，而伽马变换对于图像对比度偏低，并且整体亮度值偏高（或由于相机过曝）情况下的图像增强效果明显，变换后的图像亮处的细节的对比度提高了。

1.1.4灰度级变换的缺点

灰度变换的主要缺点是无法处理图像中的局部特征。由于灰度变换是基于像素级别的处理，因此它只能改变整个图像的亮度和对比度，而不能处理局部细节。这意味着，如果图像中的某些局部区域具有较高的对比度或明暗度，而其他区域则相对较暗或模糊，则灰度变换无法区分这些特征，从而无法对其进行适当的处理。此外，灰度变换还可能引入噪声或失真，从而影响图像的质量。

 

1.2直方图调整法

灰度直方图是一种用来描述一幅灰度图像中像素灰度级分布情况的图表。它是由像素灰度级与对应像素数目之间的关系所构成的柱状图，其中横轴表示像素灰度级，纵轴表示该灰度级下对应的像素数目。通过观察灰度直方图，可以了解到图像的整体亮度分布情况，以及图像的对比度、亮度平均值、亮度方差等统计特征。在数字图像处理中，灰度直方图经常被用来进行图像的增强、分割、压缩等操作，是一种非常重要的图像处理工具。直方图调整法可分为直方图均衡化和直方图规定化。

1.2.1直方图均衡化

直方图均衡化是一种用于自动调节图像对比度的方法，通过对图像的灰度直方图进行变换，使得图像的灰度值分布更加均匀，从而增强图像的对比度和亮度，提高图像的视觉质量和增强图像中的细节信息。它是一种灰度变换，变换函数是通过直方图的概率密度函数求出的。直方图均衡化的基本思想是将图像中的像素灰度值进行重新分配，使得每个灰度级的像素数量大致相等。具体地，它会计算图像的灰度直方图，对直方图进行归一化处理得到累计分布函数（CDF），再将CDF进行线性变换得到新的灰度级映射表，最后根据映射表对图像中的像素进行重新分配。下图就是经过重新分配的灰度直方图，均衡化确实使直方图上的灰度级分布较为均匀，聚集在低灰度级的像素被分散开往高灰度级分布。

直方图均衡化实例：

左侧为原始图，右侧为均值化后的效果图。可以看出，直方图均衡化对在图像中像素个数多的灰度值进行了展宽，而对像素个数少的灰度值进行了归并，从而增大对比度，减弱了图像中大雾的影响，使原始图像更加清晰。原图中有雾气的干扰使得图像细节不明显，经过直方图均衡化后图像中的雾气减弱了，细节部分也就凸显出来

 

1.2.2直方图规定化

直方图规定化（Histogram Specification），是一种基于直方图的图像处理技术，它可以将一张图像的灰度分布匹配到另一张图像的灰度分布上；或者说，可以把一张图的灰度直方图尽可能地靠近自己期望的灰度直方图，从而实现两张图像之间的颜色和对比度的统一。直方图匹配的基本思想是先计算目标图像的累计分布函数（CDF），然后将源图像的灰度直方图映射到目标图像的CDF上，得到新的灰度级映射表，最后根据映射表对源图像中的像素进行重新分配。

直方图规定化实例：

参考图像：

原始图像（第一行）/处理后的图像（第二行）：

可以看出，通过直方图规定化后，这些图片的亮度、饱和度总体上保持一致

直方图规定化与均衡化的思想一致，事实上就是找到各个灰度级别的映射关系。

 

• 空间域模板滤波(空间域平滑和空间域锐化)

空域滤波是一种基于空间域（即图像像素）进行滤波的方法。空域滤波的核心思想是利用滤波模板（也称为卷积核或卷积模板）对图像进行卷积运算，从而改变图像中每个像素的值。空域滤波的理论基础是线性系统响应。在空域滤波中，图像可以看作是一个线性系统，其输入为原始图像，输出为经过滤波处理后的图像。在这个线性系统中，滤波模板可以看作是系统的冲激响应，表示在每个像素上的滤波操作。因此，我们可以通过对滤波模板进行设计和优化，来实现对图像的不同处理操作。具体来说，滤波模板是一个小的矩阵，其中心点代表当前像素，其它位置的值表示对应位置的像素对当前像素的影响程度。所以引入空域把它当作是某一点的像素值由它周围的像素点进行某种规则的多对一映射产生。

2.1图像平滑

图像平滑是通过积分过程使图像边缘模糊，而图像锐化是通过微分使图像边缘突出，清晰，图像平滑也称为图像去噪，是为了抑制图像噪声改善图像质量进行的处理。这种噪声可能是在图像获取和传输等过程中造成的，噪声会使图像恶化，质量下降，图像模糊，特征淹没，对图像分析很不利。

空间域的几种平滑方法：

2.1.1邻域平均法

邻域平均法：假设图像由许多灰度恒定的小块组成，相邻的像素之间存在很高的空间相关性，而噪声则是统计独立的。所以可以用邻域内各像素的灰度平均值代替像素原来的灰度值，实现图像的平滑。邻域平均法相当于卷积的特例；特点：算法简单，但是降低噪声的同时会使图像产生模糊，特别是在边缘处和细节处，且邻域越大，去噪能力增强的同时模糊程度越严重；

邻域平均法实例：

图1为原始图像，图2为添加了椒盐噪声后的图像，图3、4、5、6分别为3×3、 5×5、7×7、9×9的邻域平滑。可以看出邻域平滑的特点，就是在降低噪声的同时会使图像产生模糊，特别是在边缘和细节处，而且邻域越大，去噪能力增强的同时模糊程度越严重。

 

 2.1.2超限像素平滑法

超限像素平滑法：对邻域平均法作了改进，将原像素与邻域平均法所得像素作差的绝对值运算，所得结果与选定阈值比较，来决定新像素的灰度值。特点：对抑制椒盐噪声比较有效；对保护微小灰度差的细节和纹理也比较有效；

超限像素平滑法实例：

图1为原始图像，图2为添加了椒盐噪声后的图像，对图像运用超限像素平滑法进行处理，取阈值T=50，图3、4分别为3×3超限像素平滑和5×5超限像素平滑，可以看出，同邻域平滑法相比，超限像素平滑法去椒盐噪声的效果更好，而且一定程度上可以保护细节，减少图像模糊。

 

 2.1.3有选择保边缘平滑法

有选择保边缘平滑法：对任意像素的5*5邻域，采用9个掩模，其中包括一个3*3正方形，四个5边形和四个6边形。计算各个掩模的均值和方差，对方差进行排序，最小方差所对应的掩模区的灰度均值就是像素的输出。特点：用方差来测度区域的灰度均匀性，如果区域内含有尖锐的边缘，它的灰度方差就会很大，如果不含边缘或灰度均匀的区域，方差就小，所以最小方差所对应的区域就是灰度最均匀区域，这种平滑方法既能消除噪声，又不会破坏区域边界的细节；

      有选择保边缘平滑法实例：

 

图1为原始图像，图2为添加了椒盐噪声后的图像，图2为有选择保边缘平滑后的效果。可以看出，有选择保边缘平滑法有效的去除椒盐噪声

 

 2.1.4中值滤波法

中值滤波法：是一种非线性滤波器，也是一种统计排序滤波器，每一像素点的灰度值为某邻域窗口内的所有像素点灰度值的中值；特点：对孤立的噪声像素即椒盐噪声，脉冲噪声具有良好的滤波效果，可以保持图像的边缘特性

第一张图为椒盐噪声后的图像，第2和3张图为运用中值滤波法处理的效果图，分别为3×3模板和5×5模板进行中值滤波的结果，可见中值滤波法能有效削弱椒盐噪声，而且比邻域、超限像素平滑法更为有效，可以保留更多的图像细节，减少图像模糊。

 

2.2图像锐化

图像锐化目的是增强图像的边缘或轮廓，能够更好地突出图像细小的细节。

图像锐化的几种方法：

2.2.1梯度法

图像锐化最常用的是梯度法（一阶导数锐化图像），为了简化计算，使用了梯度算子，此外还有Roberts算子，Prewitt算子和Sobel算子也可计算梯度，增强边缘。

  梯度法得到图像的输出方式：

1. 用图像的梯度表示图像

  仅显示灰度变化比较陡的边缘轮廓，而灰度变化比较平缓的区域为黑色；

1. 增加阈值，在梯度不满足关系时用原像素表示图像

  可使明显的边缘轮廓得到突出，又不会破坏原来灰度变化比较平缓的背景

1. 把明显的边缘用一个固定的灰度级LG来表示
2. 把背景用固定的灰度级LG表示，便于研究边缘灰度的变化。
3. 明显边缘和背景分别用灰度级LG和LB表示，生成二值图像，便于研究边缘所在位置。

梯度法Sobel算子实例：

图1为原始图，其他三张图分别为X方向，Y方向以及XY方向的Soble算子图

      左侧为原始图，右侧为锐化后的图像。可以看出，虽然图像在整体上变化不大，但是在小部分区域（如毛发区域）有锐化效果

 

 

2.2.2使用二阶导数锐化图像——拉普拉斯

Laplace算子是线性二阶微分算子

对于离散的图像而言，二阶偏导数可用二阶差分近似：

Laplace增强：

特点：在灰度均匀的区域内或斜坡中间值为0，增强图像上像元灰度不变；在斜坡底或低灰度侧形成“下冲”；而在斜坡顶或高灰度侧形成“上冲”。

Laplace增强实例：

使用 模板进行锐化：

使用 模板进行锐化：

 

图1为原图，图2为未标定的拉普拉斯图像，图3为标定的拉普拉斯图像

图4为拉普拉斯滤波后的图像。不难发现，模版2 比 模版1 的锐化效果更好。

 

 

三．彩色图像增强

人的生理视觉系统特征对微小的灰度变化感觉不敏感，而对彩色的微小差别极为敏感，利用这一特点就可以把人眼不敏感的灰度信号映射为人眼灵敏的彩色信号，以增强人对图像中细微变换的分辨率。常见的彩色增强技术主要有在RGB模型上增强，在HSI模型上增强和伪彩色增强。

3.1彩色平衡

在RGB模型中，彩色平衡是指调整图像的RGB通道的强度，使其比例更加均衡，从而达到图像增强的目的。彩色平衡有很多种方法，例如直方图均衡化，基于最小二乘法的白点算法等等，但在本课程中介绍了其中一种算法。即选取图片中的灰色区域，灰色区域原理上是RGB的1:1:1等比例混合，但色彩不平衡时便不是这个比例。因此可以根据其中一个颜色，让其他两个颜色按照线性缩放使其他两个颜色的值与第三个颜色相同，从而达到色彩平衡的目的。这就是白平衡算法中的一种。而我采用更为简单的灰度世界假设，即整幅图片的色调就是灰色，以三个通道的平均值为基准灰色，然后像课程中一样对每个通道进行线性变换使三个通道的平均值相等。

彩色平衡实例：

可以看出原本色彩偏红的图片通过平衡后整体红色的饱和度下降了，但其他的细节也变得更加清晰。

3.2HSI模型上增强

HSI模型反应了人的视觉系统观察彩色的方式，使用非常接近于人对彩色感知的方式来定义彩色。对于图像处理来说，这种模型的优势在于将颜色信息和灰度信息分开了。色调(Hue)分量是描述一种纯色的颜色属性(如红色，绿色，黄色)，饱和度(Saturation)分量是一种纯色被白光稀释的程度的度量，也可以理解为颜色的浓淡程度(如深红色，淡绿色)，亮度(Instensity)分量描述颜色的亮暗程度。这个模型的建立基于以下两个重要事实：（1）分量与图像的色彩信息无关（2）H和S分量与人感受颜色的方式紧密相连

HSI模型增强可以分为三类：（1）可以通过色调进行处理（2）通过亮度进行处理（3）通过颜色饱和度进行处理

HSI模型增强实例(S*2.0 , I*1.4)：

从左侧两幅图可以看出，经过I*1.4变换后，图像的亮度明显增加，经过S*2.0变换后，图像的饱和度也有所增加。从右侧两幅图可以更加直观地看出增强后地效果

3.3伪彩色图像增强

伪彩色增强是按特定的数学关系把单波段灰度图像的灰度级变换成彩色，然后进行彩色显示的方法，其目的是通过数据的彩色表达来增强区分地物（目标）的能力。由灰度值根据一定的映射关系求出R,G,B的值，组成该点的彩色值。

左图为原始灰度图，右图为彩色增强后的效果图。可以看出，彩色增强后的图像更容易区分不同的类别。

 

• 频率域处理

在空域中我们的理论基础为线性系统响应，通过原函数与冲激函数卷积得到。而根据傅里叶变换中的卷积定理，时域卷积可以变为频域相乘，因此我们可以将图像从空域转变为频域，后直接与滤波器函数相乘，再通过反变换恢复为原图像。一些空域上不好定义的信息能在频域中得到较好的解释：直流低频分量对应图像的平滑区域，高频分量对应图像边沿或变化剧烈区域。空域中的滤波终究只是线性系统的一种类似，且模板有所限制，因此频域滤波具有更广阔的应用前景。

基本原理：选择合适的滤波器H对原图像进行傅里叶变换后F的频谱成分进行处理，然后经逆傅里叶变换的到增强后的图像g。

理想滤波器频率域处理实例：

图1为原始灰度图，图2为频域图，图3为经过理想低通滤波器后的图像，图4为经过理想高通滤波器后的图像。可以看出，图像的大部分信息主要集中在低频部分，而经过理想低通滤波器后，图像也变得平滑。

 

一.低通滤波

对于图像来讲，噪声主要在高频部分，所以要用低通滤波器来抑制图像的高频成分，再经过逆傅里叶变化得到滤波图像，以达到平滑图像的目的。

常用的频率域低通滤波器：理想低通滤波器、Butterworth低通滤波器、指数低通滤波器、梯形低通滤波器。

1.1 理想低通滤波（Ideal LowPass Filters-ILPF）

理想低通滤波器是在傅里叶平面上半径为D0的圆形滤波器，“理想”是指小于D0的频率可以完全不受影响地通过滤波器，而大于D0的频率完全通不过。也就是说，D0 半径内的频率分量无损通过，而半径外的频率分量会被滤除。在D0适当的情况下，理想低通滤波器不失为简单易行的平滑工具。但由于滤除的高频分量中含有大量的边缘信息，因此采用该滤波器在去噪声的同时将会导致边缘信息损失而发生图像边缘模糊现象，并且会产生“振铃”效应（图像周围出现波纹现象）。

1.2 巴特沃斯（Butterworth）低通滤波

  理想低通滤波器的截止频率是直上直下的，在物理理上不可实现。而巴特沃斯低通滤波器的通带和阻带之间没有明显足的不连续性，因此不会出现“振会“效应.模糊程度也相对要小。因此，巴特沃斯低通滤波器 (BLPF) 又称为最大平坦滤波器。其特性是连续衰减，而不像理想滤波器那样陡峭和明显的不连续。因此采用该滤波器在抑制噪声的同时，图像边缘的模糊程度大大减小且振铃效应减弱。

1.3高斯低通滤波器（GLPF）

高斯低通滤波器的二维形式为：

其中，D0是截止频率，D(u,v)是距频率矩形中心的距离。高斯滤波器的宽度由参数 D0 表征，决定了平滑程度，而且 D0越大，高斯滤波器的频带就越宽，平滑程度就越好。因为噪声主要集中在高频段，所以通过高斯低通滤波器可以滤除噪声信息、平滑图像，但与此同时会滤除图像的细节信息，使图像变得模糊。

频率域低通滤波器实例：

低通滤波器(截止频率30)

第一张图为原始图像，另外三张图分别为经过低通滤波后的图像。可以看出，理想低通滤波器产生了振铃现象，使图像变得模糊；BLPF稍微产生了振铃现象，而GLPF没有产生振铃现象

 

 

二.高通滤波

为了使图像得到锐化处理，突出图像的边界，可以用衰减或抑制低频分量，让高频分量通过。高通滤波与低通滤波正好相反，是频域图像的高频部分通过而抑制低频部分。在图像中图像的边缘对应高频分量，因此高通滤波的效果是图像锐化。

常用的频率域低通滤波器：理想高通滤波器、Butterworth高通滤波器、指数滤波器、梯形滤波器。

2.1 理想高通滤波（Ideal HighPass Filters-IHPF）

理想高通滤波器与理想低通滤波器正好相反。通过高通滤波器把以D0为半径的圆内频率成分衰减掉，圆外的频率成分则无损通过。

2.2 巴特沃斯（Butterworth）高通滤波

      BHPF比IHPF要平滑，边缘失真小

2.3高斯高通滤波器（GHPF）

      通过高斯高通滤波器可以增强细节信息，提升图像的高频分量，减少低频分量，对微小物体和细线条也能很好地增强显示。

三种高通滤波器的特性类似于低通滤波器。

频率域高通滤波器实例：

高通滤波器(截止频率30)

第一张图为原始图像，另外三张图分别为经过高通滤波后的图像。可以看出，IHPF通常具有振铃性质，微小物体和线条被加强，呈白色；BHPF比IHPF要平滑，边缘失真小；GHPF也比IHPF要平滑，边缘失真小。BHPF更像是IHPF和GHPF之间的一种过渡。

 

三.同态滤波器

同态滤波是一种在频域中进行的图像对比度增强和压缩图像亮度范围的特殊方法。同态滤波器能够减少低频并且增加高频，从而能减少光照变化并锐化边缘细节。图像的同态滤波技术的依据是图像获取过程中的照明反射成像原理。它的作用是对图像灰度范围进行调整,通过消除图像上照明不均的问题。非线性滤波器能够在很好地保护细节的同时, 去除信号中的噪声,同态滤波器就是一种非线性滤波器,其处理是一种基于特征的对比度增强方法,主要用于减少由于光照不均匀引起的图像降质,并对感兴趣的景物进行有效地增强。同态滤波设置了一个滤波器H(u,v)，使用不同的可控方法来影响低频分量和高频分量对图像的影响。

同态滤波实例：

左图为原始图，右图为经过同态滤波器后的效果图。从图中可以看出，经过同态滤波器后对低频进行了压制，降低了动态范围，而对高频进行提高，增强了图像的对比度，对光照不均匀的图像有补偿效果。