数字图像处理(二)

2 灰度变换与空间滤波

2.1 基本概念

空间域处理基于表达式：
$$g(x,y)=T(f(x,y))$$
其中，f(x,y)是输入图像，g(x,y)是输出图像，T是在点(x,y)的一个邻域上定义的针对f的算子。

上图是图像中点(x,y)的一个3x3邻域，邻域在图像中从一个像素移到另一个像素，以便输出图像。通常，这个移动过程始于输入图像的左上角(即origin处)，并且水平(垂直)扫描、一次一行(列)地逐个像素进行处理。例如，假设邻域为一个3x3的方形，且算子T被定义为“计算邻域内像素的平均灰度”，那么在输出图像中，位置g(100,150)是f(100,150)与其8个邻点的和除以9。

空间域处理的简化表达式：s=T®
其中，r是f(x,y)在任意点(x,y)的灰度值，s是g(x,y)在任意点(x,y)的灰度值。

2.2 一些基本的灰度变换函数

• 三类基本函数
  线性函数：反转和恒等变换
  对数函数：对数和反对数变换
  幂律函数：n次幂和n次根变换

1.图像反转
反转变换函数：s=(L-1)-r
[0,L-1]为图像的灰度级。
作用：黑变白，白变黑

2.对数变换
对数变换通式：s=clog(1+r)
c为常数，r≥0
作用：扩展图像中的暗像素值，同时压缩高灰度值，即压缩像素值的动态范围。
实际应用：有时原图的动态范围太大，超过某些设备的允许动态范围，如果直接使用原图，则有一部分细节可能丢失，解决方法是对原图进行灰度压缩，如对数变换。

3.幂律(伽马)变换
幂律变换的基本形式：
$$\begin{gathered} s=c{r}^{\gamma }（c和\gamma 是正常数） \\ \gamma <1,提高灰度级，在正比函数上方，图像变亮 \\ \gamma ＞1,降低灰度级，在正比函数下方，图像变暗 \end{gathered}$$

4.分段线性函数
优点：形式可以任意复杂
缺点：要求输入很多参数

①对比度拉伸
背景：光照不足、成像传感器的动态范围偏小、图像获取过程中镜头孔径的设置错误等，都可能会产生低对比度图像。
作用：对比度拉伸可以扩展图像中的灰度级范围，使其覆盖记录介质或显示设备的整个理想灰度范围。

②灰度级分层
目的：突出图像中的特定灰度区间
实现方式：
关心范围指定较高值，其他指定较低值
关心范围指定较高值，其他保持不变

③比特平面分层
假设图像中每个像素的灰度级是256，这可以用8比特来表示，假设图像是由8个1比特平面组成，范围从比特平面0到比特平面7。其中，比特平面0包含图像中像素的最低位，比特平面7包含像素的最高位。每个比特平面都是一幅二值图像，可用一个变换函数阈值处理输入图像得到，这个变换函数将0和127之间的灰度值映射为0，将128到255之间的灰度值映射为1。

作用：
通过对特定比特平面提高亮度，改善图像质量
较高比特平面包含大多数视觉重要数据
较低比特平面对图像中的微小细节有作用
分解为比特平面，可以分析每一位在图像中的相对重要性

2.3 直方图处理

直方图反映了该图像中不同灰度级出现的统计情况。
直方图的定义1（非归一化）：
一个灰度级在范围[0，L-1]的数字图像直方图是一个离散函数
$$\begin{gathered} h(r_k)=n_k \\ 其中，n_k是图像中灰度级为r_k的像素个数 \\ {r}_k是第k个灰度级，k=0，1，2...,L-1 \end{gathered}$$
直方图的定义2（归一化）：
一个灰度级在范围[0,L-1]的数字图像直方图是一个离散函数
$$\begin{gathered} p(r_k)=n_k/n \\ n是图像的像素总数，n_k是图像中灰度级为r_k的 \\ 像素个数，r_k是第k个灰度级 \end{gathered}$$
直方图操作是图像处理中一个基本工具，直方图计算简单，并且也适合于快速硬件实现。
一般来说，像素占据整个灰度级范围并且均匀分布的图像，将具有高对比度的外观和多种灰色调。

2.3.1 直方图均衡化

若希望一幅图像的像素占有全部可能的灰度级，且分布均匀，能够具体高对比度，使用的方法是灰度级变换：
$$\begin{gathered} s=T(r)，0\le r\le L-1 \\ 其中，r为输入图像的灰度值，r=0表示黑色 \\ r=L-1表示白色，s为输出灰度值 \end{gathered}$$
基本思想：把原始图像的直方图变换为均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果。
T®要满足以下两个条件：
①T®在区间0≤r≤L-1上为单调递增函数
②当0≤r≤L-1时，0≤T®≤L-1
条件①保证了输出灰度值不小于对应的输入值，从而防止因灰度反转而产生的伪像。
条件②保证了变换前后灰度值动态范围的一致性。

直方图均衡化步骤：
step1：计算原始图像的灰度直方图，即统计原始图像中不同灰度级的个数
step2：计算原始图像的像素总个数
step3：计算原始图像的灰度分布频率（即做了一次归一化）
step4：将步骤③中的每一个灰度分布频率乘以 L-1再四舍五入，以使得均衡化后图像的灰度级与归一化前的原始图像一致
step5：根据以上映射关系，参照原始图像中的像素，可以写出直方图均衡化之后的图像
在步骤④中，扩展了输入图像的直方图，使得均匀后的图像灰度级覆盖更宽的灰度范围，进而增强图像的对比度。

2.3.2 直方图匹配（规定化）

直方图均衡化的优点是能自动增强整个图像的对比度，但它的具体增强效果不易控制，处理的结果往往得到的是全局的均衡化的直方图。而在实际工作中，有时需要变换直方图使之成为某个特定的形状了，从而有选择地增强某个灰度值范围内的对比度，这时可采用比较灵活的直方图规定化（也成为直方图匹配）方法。

直方图规定化定义：是使一幅图像的直方图变成规定形状的直方图而对图像进行变换的增强方法。就是通过一个灰度映射函数，将原灰度直方图变换成所希望的直方图。所以，直方图修正的关键就是灰度映射函数。

基本思想：如上图所示，是对原灰度直方图和参考图像直方图都做均衡化（左右两边图像），变成相同的归一化的均衡直方图（中间图像），以此均衡直方图起到媒介作用，再对参考图像做均衡化的逆运算即可，直方图均衡化是直方图规定化的桥梁。

2.3.3 局部直方图处理

动机：之前讨论的直方图都是基于全局性的，适合于整体增强，但只需要增强图像中几个小区域的细节时，通常会失败，解决方法是设计基于像素邻域的灰度分布的变换函数，而这种直方图处理技术很适应于局部增强。
举个栗子：

在上图中，左：原始图片，中：直方图均衡，右：局部直方图均衡
原始图像中，5个黑块隐藏着其他图案，通过直方图均衡处理后的中间图，还是看不到隐藏的图案，这是因为直方图均衡化是将图片的直方图进行了”拉伸“，而且直方图还有一个特性，就是不能黑白颠倒，即暗的像素点在均衡化后不能比该像素点亮的像素还亮。而在原图中，隐藏图案的亮度与黑块部分十分接近，因此直方图均衡不能处理这种情况。最右边的图像是局部直方图均衡处理后的结果，可以看到隐藏图像。
那么以上为了看到隐藏图像做了哪些工作呢？即先把对比度较低的地方找出来（隐藏图案与黑块），并将对比度较低区域的像素提高（将隐藏图案变亮），斌给保存其他地方不变。

以上就是我们最终想要的效果。
这个过程中会涉及到五个公式，先上公式：
原图的均值：
$$m=\sum _{L-1}^{i=0}{r}_{i}p(r_i)（1）$$
原图的方差：
$${\sigma }^2={\mu }_2=\sum _{L-1}^{i=0}{\left(r_i-m\right)}^{2}p\left(r_i\right)（2）$$
其次先定义一个3✖3邻域，则该邻域Sxy的方差和均值为：
$$m_{s_{xy}}=\sum _{L-1}^{i=0}{r}_i{p}_{s_{xy}}(r_i)(3)$$
$${\sigma }_2^{s_{xy}}=\sum _{L-1}^{i=0}{\left(r_i-m_{s_{xy}}\right)}^2{p}_{s_{xy}}\left(r_i\right)(4)$$
我们通过下面的公式(5)来输出图片
$$g(x,y)=\{\begin{array}{c}cf(x,y),if{k}_0{m}_G\le m_{s_{xy}}\le k_1{m}_{G}AND{k}_2{m}_G\le m_{s_{xy}}\le k_3{m}_G\\ f(x,y),otherwise\end{array}$$
公式（5）意思是如果此像素邻域的方差和均值都在一个范围内，那么我们将此像素的值乘上一个系数C，否则该点像素保持与原像素相等。

回到上一个问题，如何看到隐藏图像？先将对比度低区域找出来，就是需要做一个比较，我们知道方差就是为了体现一个区域内数值的差距大小，若该区域亮度值相等，则方差为0，而对比度较低区域的方差通常也很小，我们将前面设置的3✖3邻域遍历整张图片的每一个像素值，每一次都求一次方差和均值。

如上图所示，红色框是左上角方块中隐藏图像，黄色框是该邻域未接近隐藏图像，蓝色框是邻域进入隐藏图像，先计算出红色框的均值和方差分别为35.4和5.5，再计算出蓝色框的均值和方差39.9和4.4，随着邻域进入隐藏图像，方差会越来越小，那么我们是否可以用刚进入邻域的方差作为一个阈值呢？如图，只有当该点（c，d）邻域方差小于这个阈值时，我们才提高该点的亮度。因此我们k3，即方差最大值可以选择（4.4/原图标准差），因此，在我们进行遍历时，均值在进入区域也会变大，如果方差小于k3时，我们就要提高该点的像素值。那么问题来了，我们如何提高呢？这就是系数c的作用了，k2通常取值为0，因为图案中也有方差为0的地方。
系数c是这样定义的，即max（原图）/max（邻域），目的是为了提高低对比度亮度，假设原图最高亮度为200，该邻域最高亮度为20，则200/20=10，我们乘10后，隐藏图像该像素值就会变亮，但不会超过全图最高亮度。
以上都是涉及到方差，那么均值是干嘛的？

上图左边对应原图的白色区域，右边对应原图的黑色区域。
可以看到，无论是白色区域还是黑色区域，区域内亮度值基本相同，如果用方差判断的话都会被认为是低对比度区域。但是如果我们来求均值：230和32，再跟前面的均值进行对比，因此我们可以通过均值大小来更加精准的判断是否为隐藏图案区域，只有当均值和方差同时满足条件时，才提高亮度。
综上，k1上限应该选择隐藏图像最大均值/原图均值，下限k0通常选择隐藏图像边界最小均值/原图均值，这样我们就过滤了黑色和白色区域。

2.4 空间滤波器

滤波器是借自频率域处理，其中“滤波”是指通过修改或抑制图像的规定频率分量。例如，通过低频的滤波器称为低通滤波器，其作用是通过模糊图像来平滑图像。
空间滤波通过把每个像素的值替换为该像素及其邻域的函数值来修改图像，如果对图像的像素执行的运算是线性的，则称该滤波器为线性空间滤波器，否则称该滤波器为非线性空间滤波器。

2.4.1 线性空间滤波器原理

空间滤波：使用空间模板进行的图像处理
NOTE ：这里的空间模板有多种叫法，也可以叫窗口、滤波器核或核，它是一个阵列，其大小定义了运算的邻域，其系数决定了该滤波器的性质。
那么问题来了，什么叫空间滤波器呢？即模板本身被称为空间滤波器。

线性空间滤波器在图像f和滤波器模板w之间执行乘积之和运算，一般来说，大小为m×n的模板对M×N的图像的线性空间滤波可以表示为：
$$\begin{gathered} g(x,y)=\sum _{s=-a}^a\sum _{t=-b}^b\omega (s,t)f(x+s,y+t) \\ 一般来说，m=2a+1，n=2b+1，a和b是非负整数 \\ 意味着我们关注的两个坐标方向上奇数大小的模板 \\ \omega (s,t）为滤波器系数，f(x+s,y+t)为图像值 \end{gathered}$$
NOTE：当然滤波器模板也可以使用偶数大小或混合偶数大小和奇数大小的模板，但用奇数大小的模板可以简化索引，并且更加直观，因为模板的中心落在整数上，并且它们在空间上是对称的。

2.4.2 空间相关与卷积

如下图所示，空间相关运算过程如下：在图像上移动模板的中心，并且在每个位置计算乘积之和。空间卷积的原理相同，只是把相关运算的模板旋转了180°，因此当模板的值关于其中心对称时，相关和卷积得到的结果相同。

可见，相关是滤波器模板相对于图像位移的函数。
在进行相关和卷积的运算时要注意，超过边界时一般要补充像素， 通常添加0或者添加原始边界像素的值，可以看出它们的主要区别在于计算卷积时，模板需要先做旋转，而计算相关时不需要旋转相关模板。

那么卷积和相关在图像上有什么实际意义呢？
首先介绍一个概念，离散单位冲击：将包含单个1而其余全是0的函数称为离散单位冲击，它有个重要性质：一个函数与离散单位冲击相关，在冲击位置产生这个函数的一个翻转版本。
举个栗子，以下f为函数，为滤波器模板：
f（x，y）
0 0 0 0 0
0 0 0 0 0
0 0 1 0 0
0 0 0 0 0
0 0 0 0 0
w（x，y）
1 2 3
4 5 6
7 8 9
相关运算 f*w =
0 0 0 0 0
0 9 8 7 0
0 6 5 4 0
0 3 2 1 0
0 0 0 0 0

卷积运算f*w=
0 0 0 0 0
0 1 2 3 0
0 4 5 6 0
0 7 8 9 0
0 0 0 0 0

相关的用途：图象的匹配
假如函数f中存在w的一个复制版本，即f：
0 0 0 0 0
0 1 2 3 0
0 4 5 6 0
0 7 8 9 0
0 0 0 0 0

f*w是多少呢？

9 26 50 38 21
42 94 154 106 54
90 186 285 186 90
54 106 154 94 42
21 38 50 26 9

是不是会发现w与f中w的复制版本重合时，该点的值最大。最大值为
1^2 + 2^2 + ……+9^2 = 285
这就是用相关进行图像匹配的基本原理。

2.4.3 空间域滤波和频率域滤波的一些重要比较

空间域处理和频率域处理之间的联系纽带是傅里叶变换，我们用傅里叶变换从空间域进入频率域，用傅里叶反变换返回到空间域。
空间域和频率域两个基本性质：
1.卷积是空间域滤波的基础，等效于频率域中的乘法，反之亦然。
2.空间域中振幅为A的冲激，是频率域中值为A的一个常数，反之亦然。

满足一些温和条件的函数（如图像）可以表示为不同频率和振幅的正弦波之和，因此图像的外观依赖于其正弦分量的频率——改变这些分量的频率将改变图像的外观。这是因为我们可以将某些频带与图像特征相关联。例如，图像中灰度变化缓慢的区域由低频正弦波表征，边缘和其他急剧的灰度过渡由高频正弦波表征，因此减少图像中的高频分量就会使图像模糊。

线性滤波就是找到合适的方法来修改图像的频率内容。在空间域中，是通过卷积滤波来实现这一要求的；在频率域中，用乘法滤波器来实现这一要求的。后者是一种更为直观的方法。

两个重要概念：
滤波器传递函数：表示频率域中的滤波器函数，与空间域中的“滤波器核”类似。
等效空间滤波器核：频率域滤波器传递函数的傅里叶反变换。
举个栗子：
低通滤波的原理首先计算傅里叶变换，将空间域转换为频率域，然后将结果诚意滤波器传递函数，消除值大于某一个阈值的频率分量，为了返回空间，取滤波后的信号的傅里叶反变换，结果是一个变得模糊的空间域函数。

那么如何构建空间滤波器呢？
三种基本方法
①根据其数学性质。例如。计算邻域像素平均值的滤波器会模糊图像，计算图像局部导数的滤波器会锐化图像。
②对形状具有所需性质的二维空间函数进行采样。例如，使用来自高斯函数的样本可以构建加权平均（低通）滤波器。
③设计具有规定频率响应的空间滤波器。

2.4.4 平滑（低通）空间滤波器

作用：
①模糊处理：去掉图像中一些不重要的细节，其中模糊程度取决于模板的大小及其系数的值
②减小噪声（因为随机噪声通常是由灰度的急剧过渡组成）

这里介绍两个线性低通滤波器，即盒式滤波器核和低通高斯滤波器核
首先是盒式滤波器核。
盒式滤波是一种线性滤波技术，其系数的值相同（通常为1），m×n的盒式滤波器是一个m×n的阵列，其前面有一个归一化的常数，通常是1除以系数值之和（通常是1/mn）。

下图展示了盒式滤波器：

可以看出，当normalize为true时，盒式滤波变成了均值滤波，其中，归一化是把处理的量都缩放到一个范围内，比如（0，1），防止在滤波过程中引入偏差，以便统一处理和直观量化。
当normalize为false时，为非归一化的盒式滤波，用于计算每个像素邻域内的积分特性。

以下是使用m×m盒式滤波得到的结果。

盒式滤波器核局限：往往会沿垂直方向模糊图像

其次是低通高斯滤波器核。
首先介绍高斯核。
下面先给一个高斯核的效果图

我们要想拟合非线性的决策边界，其中有一种方法就是用高阶函数去拟合这个特征，事实上，这种方法是不行的，问题是：从理论上说，我们有很多不同的特征去选择来拟合这个边界或者可能会存在比这些高阶多项式更好的特征，因为我们不知道这些高阶多项式的组合是否一定对模型的提升有帮助。

因此针对这些问题，我们引入高斯核函数
首先我们先来看一下二维正态分布的图像

上图看出，离中心点越近，函数值就越接近1
公式为

如果把二维平面上的点映射到上图中，那么从上往下看类似于下面这张同心圆的图

因此以任意一种颜色的同心圆作为决策边界，都可以完成对数据集的简单非线性划分。那么问题来了，如何映射到高维空间上去呢？即高斯核函数。

回到正题，为了解决盒式滤波的局限性，这里所选的核通常是圆对称的（即各向同性），高斯核就是这种唯一可分离的圆对称核。
高斯核公式为
$$\omega (s,t)=G(s,t)=K{e}^{-\frac{s^2+t^2}{2{\sigma }^2}}$$
生成高斯函数的样本是按如下方式得到的：首先规定s和t的值，然后“读取”函数在这些坐标处的值，这些值是核的系数，通过将核的系数除以各个系数之和，实现核的归一化。

接下来介绍一种非线性滤波器
统计排序滤波器
即基于滤波器所在图像区域中像素的排序，由排序结果决定的值代替中心像素的值
分类：
①中值滤波器：用中心像素的邻域内的灰度值的中值替代中心像素的值
作用：去除噪声
特点：在去除噪声的同时，可以较好的保留边的锐度和图像的细节
②最大值滤波器：用像素邻域内的最大值代替该像素
作用：寻找最亮点
③最小值滤波器：用像素邻域内的最小值代替该像素
作用：寻找最暗点

2.4.5 锐化（高通）空间滤波器

锐化作用：突出灰度中的过渡
锐化可通过空间微分来实现，图像微分将增强边缘和其他不连续（如噪声），并且不强调灰度缓慢变化的区域

首先介绍基于一阶导数和二阶导数的锐化滤波器。
一阶导数的任何定义都要满足如下要求：
①恒定灰度区域的一阶导数必须为0
②灰度台阶或斜坡开始处的一阶导数必须非0
③灰度斜坡上的一阶导数必须非0
二阶导数的任何定义都要满足如下要求：
①恒定灰度区域的二阶导数必须为0
②灰度台阶或斜坡的开始处和结束处的二阶导数必须非0
③灰度斜坡的二阶导数必须为0

由此可见，锐化滤波器的原理：
1.由于均值滤波器可以产生钝化效果，而均值与积分相似，由此可联想到，微分能不能产生相反的效果，即锐化的效果？答案是肯定的
2.在图像处理中应用微分常用的方法是计算梯度，函数f(x,y)在(x,y)处的梯度为一个向量
$$▽f=\left[\begin{array}{c}{G}_x\\ G_y\end{array}\right]=\left[\begin{array}{c}\frac{\partial f}{\partial x}\\ \frac{\partial f}{\partial y}\end{array}\right]$$

锐化滤波器的分类：
①二阶微分滤波器——拉普拉斯算子
拉普拉斯是一种微分算子，它的应用可增强图像中灰度突变的区域，减弱灰度的缓慢变化区域。
原理：锐化处理可选择拉普拉斯算子对原图像进行处理，产生描述灰度突变的图像，再将拉普拉斯图像与原始图像叠加而产生锐化图像。
$$\begin{gathered} 一个二维图像函数的拉普拉斯变换是各向同性的二阶导数， \\ 定义为：{▽}^{2}f=\frac{{\partial }^{2}f}{\partial x^2}+\frac{{\partial }^{2}f}{\partial y^2} \\ 在一个二维函数f(x,y)中，x,y两个方向的二阶差分分别为 \\ \frac{{\partial }^{2}f}{\partial x^2}=f(x+1,y)+f(x-1,y)-2f(x,y) \\ \frac{{\partial }^{2}f}{\partial y^2}=f(x,y+1)+f(x,y-1)-2f(x,y) \\ 为了更适合于数字图像处理，将该方程表示为离散形式： \\ {▽}^{2}f=[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y) \end{gathered}$$
拉普拉斯是导数算子，因此会突出图像中急剧灰度过渡，这往往会产生具有灰色边缘线和其他不连续性的图像，它们都叠加在暗色无特征背景上，将拉普拉斯图像与原图像相加，可恢复背景特征。