膨胀，腐蚀，滤波，边缘检测，图像金字塔

**1、**腐蚀和膨胀的主要功能：（1）消除噪声（2）分割出独立的图像元素，在图像中连接相邻的元素（3）寻找图像中的极大值或者极小值区域（4）求出图像的梯度。

1.1、膨胀（dilate）：膨胀就是求局部最大值的操作。从数学角度来说，就是将图像与核进行卷积，计算核B覆盖区域的像素点的最大值，并把这个最大值赋值给参考点指定的元素。这样就会使图像中的高亮区域逐渐增长。模板和输入图像对应位置的元素只要有一个与的结果不为0，则结果不为0.给图像中的对象边界添加元素。用3x3的结构元素，扫描二值图像中的每一个像素，用结构元素与其覆盖的二值图像做与运算，如果都为0，则结果图像中值为0，否则为1。结果：输入图像中的前景对象扩大一圈。

膨胀的作用和腐蚀相反， 膨胀能使物体边界扩大， 具体的膨胀结果与图像本身和结构元素的形状有关。膨胀常用于将图像中原本断裂开来的同一物体桥接起来， 对图像进行二值化之后， 很容易使一个连通的物体断裂为两个部分， 而这会给后续的图像分析（如要基于连通区域的分析统计物体的个数〉造成困扰，此时就可借助膨胀桥接断裂的缝隙

1.2、腐蚀（erode）：腐蚀和膨胀是相反的操作，腐蚀是求局部最小值的操作。腐蚀操作会使图像中的高亮区逐渐减小。模板和输入图像中对应位置的元素相与的结果全不为0时，结果才为0。删除对象边界的某些像素。用3x3的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做与运算，如果都为1，则结果图像中值为1，否则为0.结果：前景对象减小一圈。

随着腐蚀结构元素的逐步增大，小于结构元素的物体相继消失。由于腐蚀运算具有上述的特点，可以用于滤波。选择适当大小和形状的结构元素，可以滤除掉所有不能 完全包含结构元素的噪声点。然而，利用腐蚀滤除噪声有一个缺点，即在去除噪声点的同时，对图像中前景物体的形状也会有影响，但当我们只关心物体的位置或者个数时，则影响不大。

**2.**滤波：图像滤波，即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。目的：1、消除图像中混入的噪声；2、为图像识别抽取出图像特。要求：1、不能损坏图像轮廓及边缘 ；2、图像视觉效果应当更好。

滤波和模糊的区别：拿高斯滤波来举例：滤波一般可以分为高通滤波和低通滤波，对于高斯低通滤波就会产生模糊效果，如果对于高斯高通滤波就会产生锐化的效果。所以通常是：高斯滤波就是指使用高斯函数进行滤波；高斯模糊就是指低通滤波。

高通：边缘增强、边缘提取 ；低通：钝化图像、去除噪音 ；带通：删除特定频率、增强中很少用。

2.1.线性滤波器：在图像处理中，对邻域中的像素的计算为线性运算时，如利用窗口函数进行平滑加权求和的运算，或者某种卷积运算，都可以称为线性滤波。常见的线性滤波有：均值滤波、高斯滤波、盒子滤波、拉普拉斯滤波等等，通常线性滤波器之间只是模版系数不同。

均值滤波（normalized box filter）：用其像素点周围像素的平均值代替元像素值，在滤除噪声的同时也会滤掉图像的边缘信息。在OpenCV中，可以使用boxFilter和blur函数进行均值滤波。均值滤波的核为

高斯滤波（Gaussian filter）：高斯滤波为最常用的滤波器，具有可分离性质，可以把二维高斯运算转换为一维高斯运算，其本质上为一个低通滤波器。在OpenCV中可通过函数GaussianBlur进行操作。

2.2. 非线性滤波：非线性滤波利用原始图像跟模版之间的一种逻辑关系得到结果，如最值滤波器，中值滤波器。比较常用的有中值滤波器和双边滤波器。

中值滤波（median filter）：中值滤波用测试像素周围邻域像素集中的中值代替原像素。中值滤波去除椒盐噪声和斑块噪声时，效果非常明显。在OpenCV中，可以使用函数medianBlur进行操作。

双边滤波（bilateral filter）：双边滤波在平滑图像时能够很好的保留边缘特性，但是其运算速度比较慢。在OpenCV中，可以使用函数bilateralFilter进行操作。

w(x,y)为加权系数，取决于定义域核和值域核的乘积。

3边缘检测：Edge Detection 我们要找水平的边缘：需要注意的是，这里矩阵的元素和是0，所以滤波后的图像会很暗，只有边缘的地方是有亮度的。边缘是图像中灰度发生急剧变化的区域边界。图像灰度的变化情况可以用图像灰度分布的梯度来表示，数字图像中求导是利用差分近似微分来进行的，实际上常用空域微分算子通过卷积来完成。

一般图像边缘检测方法主要有如下四个步骤：

（1）图像滤波：传统边缘检测算法主要是基于图像强度的一阶和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测器的性能。需要指出的是，大多数滤波器在降低噪声的同时也造成了了边缘强度的损失，因此，在增强边缘和降低噪声之间需要一个折衷的选择。

（2）图像增强：增强边缘的基础是确定图像各点邻域强度的变化值。增强算法可以将邻域(或局部)强度值有显著变化的点突显出来。边缘增强一般是通过计算梯度的幅值来完成的。

（3）图像检测：在图像中有许多点的梯度幅值比较大，而这些点在特定的应用领域中并不都是边缘，所以应该用某种方法来确定哪些点是边缘点。最简单的边缘检测判断依据是梯度幅值。

（4）图像定位：如果某一应用场合要求确定边缘位置，则边缘的位置可在子像素分辨率上来估计，边缘的方位也可以被估计出来。近20多年来提出了许多边缘检测算子。

**4、**图像金字塔：是图像中多尺度表达的一种，最主要用于图像分割，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔式一系列以金字塔形状排列的，分辨率逐步降低且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到到达某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。层级越高图像越小，分辨率越低。

通常有两种类型的图像金字塔，分别是：

（1）数字金字塔(Gaussuan pyramin)-用来向下采样，主要的图像金字塔，主要用来向下采样图像

（2）拉普拉斯金字塔(Laplaican pyramid)-用来从金字塔底层图像重建上层未采样的还原，在数字图像处理中也即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔一起使用，是从金字塔底层图像中向上采样，重建一个图像。

要从金字塔的第i层生成第i+1层(将第i层表示为Gi)，先要用高斯核对Gi进行卷积，然后删除所有偶数行和列，新得到的图像面积会变为源图像的1/4.按上述过程对输入图像G0执行操作就可以得到整个金字塔。

当图像金字塔的上层移动时，尺寸和分辨率会降低。在OpenCV中，从金字塔上一层图像生成下一级图像时可以使用PryDown,而通过PryUp将现有的图像在每个维度上放大两倍。

注意：PryDown和PryUp函数互逆的，PryUp不是降采样的逆操作。图像首先在每个维度上扩大为原来的两倍，新增的行(偶数行)以0填充，然后给指定的滤波器进行卷积(实际上是在每个维度都扩大为原来两倍的过滤器)去估计“丢失”像素的近似值。