01.卷积和高斯【计算机视觉】

卷积

图片的类型

• 二值化图 （Binary）
• 灰度图 （Gray Scale）
• 彩色图（Color）

二值化图

二值化图每一个像素值不是1就是0

灰度图

灰度图的像素值是（0~255），只有一个通道（单通道），RGB都相等。

彩色图

彩色图RGB都有值，是三个通道的，如果用向量【组】来表示的话，彩色图的特征是灰度图的三倍。

为什么使用卷积？

拿到下面的图片，我们应该怎样对他进行去燥呢？

让我们把每个像素替换成其邻域的加权平均数，进行去燥，这种方法由此可以引出卷积。

卷积的定义

卷积的计算

卷积操作其实就是每次取一个特定大小的矩阵F（蓝色矩阵中的阴影部分），然后将其对输入X（图中蓝色矩阵）依次扫描并进行内积（加权平均）的运算过程。

卷积需要先进行翻转再计算，而相关不需要翻转，但由于很多情况下卷积核都是对称矩阵，所以就省略了这一步。

边缘填充

边缘填充的作用

• 作用1：图形的像素不是靠位置来规定重要程度，但越里面的像素卷积次数越多，故我们需要进行边缘填充，将本来应该是边缘的像素变成不是边缘的像素。
• 作用2：当卷积量过大时，避免图像边缘的大部分信息都丢失
• 作用3：输入和输出的大小应该保持一致

边缘填充的方式

• 0填充
• 镜像填充
• 重复填充

几种特殊的卷积核带来的效果

（不考虑边界填充）

用这个卷积核来计算得到的是原图，无变化

用这个卷积核来计算得到的是 原图左移一个像素 。 故任何一个平移操作都可以用卷积来实现。

用这个卷积核来计算得到的是 平滑/去噪 。

用这个卷积核来计算得到的是 锐化 。

高斯

振铃现象

图像处理中，对一幅图像进行滤波处理，若选用的频域滤波器具有陡峭的变化，则会使滤波图像产生“振铃”，所谓“振铃”，就是指输出图像的灰度剧烈变化处产生的震荡，就好像钟被敲击后产生的空气震荡。如下图：

如何解决振铃现象–高斯内核（模板）

高斯模板的特点：离中心权值越大，离分散权值越小，故可以解决振铃现象。

高斯函数的定义

当定义好$\sigma$以后，$G_{\sigma }$就可以求出，进而可以得到该图片的滤波核，然后进行归一化，最后得到高斯核。

一般我们将滤波核的大小和$\sigma$定为以下关系：H,W = 2×$\sigma$+1，比如$\sigma$=1，则大小为7×7

故产生高斯模板的过程：

1. 确定滤波核的大小，如5×5，7×7
2. 根据滤波核的大小，得到$\sigma$的大小，根据公式求出$G_{\sigma }$
3. 归一化

当滤波核的大小一样时，$\sigma$越大，滤波越强

当$\sigma$固定时，归一化不一样，由于归一化是$G_{\sigma }$除以总$G_{\sigma }$，所以滤波核的大小越小，滤波越强

经验法则：一般将滤波器的半宽设置为3$\sigma$左右

高斯模板的性质

一个大高斯核去卷积一个图形，可以用两个小高斯核对一个图形连续卷积两次。

高斯可以进行分解

为什么高斯需要将大核分解成小核？
答：加速

分解的步骤：

噪声

• 椒盐噪声
• 脉冲噪声
• 高斯噪声
  

高斯噪声

$$f(x,y)=\stackrel{\text{Ideal Image }}{\overbrace{\tilde{f}(x,y)}}+\stackrel{\text{Noise process }}{\overbrace{\eta (x,y)}}$$
该噪声由0均值 标准差为$\sigma$的高斯分布里面采样出来的。

对于噪声（标准差$\sigma$）比较小的，可以用高斯模板比较小（滤波核里面的$\sigma$）来滤波…（比较大就相反即可）

椒盐噪声

高斯模板不能去掉椒盐噪声，故使用中值滤波。

中值滤波按照以下方式求解：


可以看出中值滤波对椒盐噪声有作用！

高斯滤波&中值滤波总结

• 高斯滤波是线性滤波器
• 中值滤波不是线性滤波器

中值滤波后的点来自原图像的点，但高斯滤波是加权平均原图像的点，故高斯滤波后的点不是来着原图像的点。

【注】该笔记的图片和内容来自B站北京邮电大学 鲁鹏老师的《计算机视觉》，链接如下：北京邮电大学 鲁鹏老师《计算机视觉》