三维视觉之数字图像处理基础（三）

图像空间滤波

图像灰度处理是对图像单点的处理，对图像在对比度、亮度等方面进行增强。
空间滤波利用像素周围邻域的像素信息，对图像的灰度进行处理。其目的主要有：
**（1）去噪**：在成像的过程中，由于传感器的噪声或者成像环境的因素，相机获得的图像经常会存在噪声。为了减弱噪声，需要设计合适的图像滤波算法。
**（2）特征提取：**为了从图像中提取特征，如点特征、线特征或边缘特征，也需要有对应的滤波器。
**（3）图像增强：**在有些应用中，需要对图像进行细节增强，如锐化，使得图像边缘更加锐利。

1 卷积滤波

卷积滤波是空间滤波的基础，平滑滤波、锐化滤波等均可以通过卷积滤波实现，不同功能能的滤波器，其区别在于卷积核的不同，设计不同的卷积核，实现不同的滤波需求。卷积滤波可以使用并行加速。
卷积滤波和卷积神经网络的区别在于：卷积滤波的卷积核是人工设计的，卷积神经网络的卷积核参数是训练得到的。

2 均值滤波

**各向异性：**倾斜方向的结构和水平方向或垂直方向的结构，在应用同一个滤波器时，会经历不一样的平滑处理。

上图中，b中白色竖条占两个像素，白色占一个像素，均值之后的到c；
d图的黑白竖条均占一个像素，均值之后的到e.

3 高斯平滑滤波

高斯滤波器为**各向同性**，作用为：对图像去噪、使图像平滑

上图左侧为二维高斯函数图像，右侧为三维高斯函数图像。

特点：
（1） 各向同性、对称、可分离，可分离：二维图像高斯滤波，可以先在水平方向进行一维高斯滤波，之后在竖直方向滤波，可以提升率比效率，加速算法。
（2）最理想的平滑滤波器
已知高斯卷积核如何计算权重，如下图：

上图左侧为3X3的高斯滤波器卷积核，高斯卷积的尺度sigma为1.5，右图为每一个未知的权重，之后对所有的权重进行归一化处理，得：

高斯滤波器滤波的核心参数为：滤波器的尺度sigma，sigma越小输出曲线越尖锐，越大输出曲线越平坦。

4 双边滤波

背景：高斯滤波器能起到去噪的作用，同时也会破坏图像的边缘，边缘不够锐利。双边滤波能去除小结构的噪声，同时能保持大结构良好的边界特征（具有良好边缘保持特性的滤波器）。
双边滤波器的权重由两部分组成：空间项（取决于空间距离）、颜色项（依赖图像颜色差异），两个均为高斯函数。

上式，可由下图进行解释：

上图的输入信号，边缘特征明显。第一个权重是空间距离权重，离中心点越近，权重越大；第二个权重为和中心像素点颜色差异的一个权重，例如上部平面中，颜色相近的像素点对中心点的权重越大。两个权重相乘，一方面压制了图像噪声，另一方面边缘结构得到了很好的保持。
双边滤波应用于人脸图像磨皮：


上图，横向为不同颜色权重参数下的效果，竖直方向为空间距离权重尺度。

上图为双边滤波器在3D网格处理中的应用。

5 中值滤波（统计滤波）

针对椒盐噪声（如下图原图所示），若对下图矩阵的192点进行滤波，则计算3X3cn.com矩阵的中值进行滤波

中值滤波去对于**“椒盐”噪声具有很好的去噪效果。
它是使用最广泛的统计排序滤波器**（最大值滤波、最小值滤波）。

统计排序滤波器：
中值滤波器：取排序后位于50%未知的位置的数值；
最小值滤波器：取排序后位于0%未知的位置的数值；
最大值滤波器：取排序后位于100%未知的位置的数值；

6 空间滤波——锐化滤波器

主要用途：
（1）突出图像中的细节，增强被模糊了的细节
（2）印刷中的细微层次强调。弥补扫描对图像的钝化
（3）超声探测成像，分辨率低，边缘模糊，通过锐化来改善
（4）图像识别中，分割前的边缘提取
（5）锐化处理恢复过度钝化、曝光不足的图像
（6）武器中的目标识别、定位
原理：
均值滤波产生钝化的效果，而均值与积分相似，由此而联想到，微分能不能产生相反的效果，即锐化的效果？

6.1 图像微分-图像边缘

光学成像过程的本身具有低通滤波的作用，使边缘变得平缓。

6.2 数字微分

对于一阶微分的定义必须保证以下几点：
（1）在恒定灰度区域的微分值为零；
（2）在灰度台阶（跳跃）或斜坡处的微分值非零：
（3）沿斜坡的微分值非零；
对于二阶微分的定义都必须保证以下几点：
（1）在恒定灰度区域的微分值为零；
（2）在灰度台阶或斜坡处的起点处，微分值非零；
（3）沿斜坡的微分值为零；

水平方向一阶微分定义为：右边的像素点的灰度值-当前像素点的灰度值
水平方向二阶微分定义为：右边的像素点的灰度值+左边的像素点的灰度值-2*当前像素点的灰度值

（1）恒定区域：一阶微分、二阶微分都是零；
（2）斜坡：一阶微分非零，二阶微分为零；
（3）斜坡起点处：二阶微分非零；
（4）零交叉：对于定位边缘很有用，二阶微分异号；
（5）二阶微分：产生由零分开的双边缘；

6.3 锐化滤波器的分类

二阶微分滤波器-拉普拉斯算子
一阶微分滤波器-梯度算子

6.3.1 图像函数的拉普拉斯变换（二阶微分锐化）

上图，a为拉普拉斯算子的卷积核，b为考虑对角元素的拉普拉斯算子卷积核。
拉普拉斯变换对图像增强的基本方法：


拉普拉斯的响应有正有负，用八位的图像（灰度为8）去显示有正有负的图像是很方便的，于是把拉普拉斯变换后的图像进行灰度拉伸，即整体+128，黑色的地方（像素值为0的地方）变为128变成灰色，将灰度平移后的图像和原始图像相加。
灰度变换（平移）：将一个像素点的灰度值按照算法数学公式转换成一个新的灰度值，使原来图像的某些部分区域特征增强，使图片变清晰。

6.3.2 一阶微分锐化

梯度计算模板（卷积核/掩模板）：所有模板系统总和为0，保证在恒定灰度区域的微分值为0。

Roberts算子：交叉分算子

Sobel算子：


例：利用梯度增强图像边缘

(1)在梯度幅值图像中，边缘缺陷清晰可见；(2)去掉了灰度不变或缓慢变化的阴影（四个角落位置）。