计算机器视觉（二）图像的卷积操作、不同噪声对应降噪方法、边缘提取 初步

卷积

Types of Images

常见的图像类型有哪些？

二进制图像、灰度图像、彩色图像

Binary image representation

二进制图像元素要么是1，要么是0，要么是黑要么是白。

Grayscale image representation

每个元素的图像取值范围是0-255，代表不同的灰度。

Color image representation

彩色图像一个点有RGB三个通道表示，每个通道是0-255，可以代表RGB的每种通道的不同取值范围（或者BGR）

Motivation:Image denoising

How we can reduce noise in a photagraph?
通过图像去噪来理解卷积。

把这个点和周围的点平均一下，就会让这个点和周围的点更加接近，这样的视觉效果就可以加权平均。

• 加权平均的权值是卷积和（滤波和）：filter kernel
• 中心点周围的每个点的权重是多少，根据这个建立一个filter kernel就相当于一个由各个点的权值组成的矩阵，然后用每个点的权重和每个点的值加权求和得到中心点的新值。这就是对这个点进行卷积。
• 滤波器核即告诉我们周围点的权重是多少。

首先对卷积核进行翻转（沿中轴横向），然后放到f中对左上角的点进行运算，就是把卷积核里面的每个值和它对应位置上（它在图像上覆盖的位置）的图像的值进行相乘求和就得到了中间点的新的值。

把这个卷积操作从头到尾对图像上的每一个部分进行操作就得到一个新的图像。

【卷积的单次操作的数学表达式】

• l、k是相对于中心点的位置-1/1
• f是每个点的位置
• （m，n）是中心点的位置
• m-k,n-l就是中心点周围的点的位置
• g(k,l)就是卷积核的那个位置
  因为里面是m-k，n-l就保证里面是一个倒着的过程，这就是一个卷积的定义。

Key properties(特性）

• 线性、平移不变性。
• 任何的线性平移不变的操作都可以用卷积来表示。
  
  交换律、结合律、分配律、k常量、脉冲信号得本身。

Annoying details

• 模版的下部没有像素值，在真实计算的时候就没办法计算，就把图像扩大一圈然后才能计算边缘值，要保证卷积图像和原来的图像一样大就需要对图像进行填充。

边界填充方法

1、最简单的方法是在周围补一圈0：（clip filter black)

在深度学习里面是一个卷积网络，所以也要在前面补一圈0.

2、环状的，类似于将一张纸卷起来，然后左边和右边分别填充两侧的像素值：(wrap around)

3、像素拉伸（copy edge)

4、镜像处理（reflect across edge）

Practice with linear filters

1、咩有变化（脉冲模版）

乘完之后就是它自己
2、平移（左移）

所以任何的平移都可以用卷积进行操作。
3、平滑/去噪（让当前的点的值和周围的值拉近）

4、锐化

原值和平滑之后的值之间有一个差，会得到一个边缘图，在把这个边缘图加到原图上就会得到一个锐化的图。

卷积存在的问题

振铃效应：因为卷积引入了一些本来不是图像上的一些信息，产生根本不属于图像的效果。

解决方法：

一个真实有效的滤波器，应该离中心越近的权值越高，离中心越远的权值越低。

使用高斯函数

把每个点的坐标带入高斯公式就可以得到每个点对应的权值。⚠️希望这里所有的权重值之和为1，假设不为1，3x3的核，每个点为0.1，所有点加起来等于0.9然后再乘255的话，因为本来把整个图看成一个整体是255的话，乘完之后就相当于原图衰减了，所以要所有权重之和为1.

所以在加权求和之后对所有的值进行归一化。归一化可以这样：把每一个位置的和都加在一起记为S，然后用当前位置上的点的值除以S，每一个点都这样操作，形成了一个新的矩阵，这个新的核的所有值之和即为1.

形成滤波核的待办事项

1. 指定窗框，即5x5，3x3等
2. 指定sigma的值
3. 对模版的所有值进行一个归一化

sigma的影响

改变图像的方差会对高斯核产生一个什么样的结果？sigma越小表示数据越集中。自己占的比重大，被平滑的没那么严重，sigma越小中间的权重越大。
如果要想滤波效果明显：sigma大些
如果想没那么明显：sigma小写

窗框大小的影响

窗框大的话，归一化的时候分母变大，滤波的更厉害；窗框小的时候，中间更突出。

Rule of thumb:set filter half-width to about 3sigma

使用这个规则是使大部分有效的在里面，保证滤波器核有意义，指定左右是3sigma就可以计算，所以指定sigma或者指定窗框都可以计算出来另一个。

高斯核的滤波结果对比

高斯核总结

• 滤除高频，把周围点很突兀的地方滤掉，低频的地方保留。使用高斯核就是为了去噪的。
• 高斯卷积自身：
  
  经过两个高斯核转换得到的图像可以直接通过一个高斯核转换得到。两个高斯核的前面的系数使用勾股定理得到另一个的系数。

高斯核还可以分解：
分解成一个x和一个y

左边的是高斯核，右边的是脉冲信号；第一个是把高斯核分解成两个向量的乘积形式，第二个是使用第一个向量先乘脉冲信号，第二个再乘，最后还是得到原值。所以可以用两个高斯核进行计算。

卷积的复杂度是很高的，可以降低整个过程的时间复杂度可以进行加速，可以把高斯核进行分解可以加速运算。

Noise

椒盐噪声、脉冲噪声、高斯噪声

• 一个是理想图像一个是图像采集出现的问题构成了这个模型。从一个均值为0的正态分布中随机抽取出每个点然后和原图进行整合。
• 高斯噪声是指它的概率密度函数服从高斯分布（即正态分布）的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。
  产生原因：
  1）图像传感器在拍摄时视场不够明亮、亮度不够均匀；
  2）电路各元器件自身噪声和相互影响；
  3）图像传感器长期工作，温度过高。
  
• 横着的是高斯噪声，纵向是高斯滤波器的参数。方差较小的时候一步滤波就可以将噪声滤掉（可以用小的模版滤波），方差较大的时候（使用大的高斯模版进行滤波）需要经过几次深层滤波才能去除噪声。
• 高斯滤波是有成本的，在进行信号平滑的时候也能将信号衰减，轮廓信号会衰减。
  
  使用高斯模版进行滤波，但是效果不好。

使用中值滤波减少椒盐噪声

将原图的所有数值排序，取出中位数，作为中间点的数值。
Is median filtering linear?不是线性滤波

椒盐噪声会被拉回来但是不会影响图像的形状，并没有给图像产生新的像素值，只是把原来图像的值移植过来了，但是高斯滤波不一样，是把所有的值进行平均会把原值进行更改，中值滤波与原值有关，高斯滤波与原值无关（注意角度）。
平滑滤波器一般指的是高斯滤波器。

中值效果更好，但是大模版会更模糊，更平滑的前提条件就是图片模糊。

卷积表示sharpening

【alpha是加强程度】

边缘提取（Edge detection）

用边来表示图像可以更好的理解图像，边缘信号就是这个地方的信号和其他地方的信号相比变化程度很大的。（就是一种不连续的东西）

边的分类

1. 面上的不连续
2. 深度上的边缘
3. 字母边
4. 阴影边
   关注不同任务的时候要考虑的边缘信息不同，比如考虑瓶子的形状的时候字母边和阴影边就会对其产生影响。识别物体在空间上的位置的时候，阴影边才有用，其他的边都是噪声。
   
   通过对信号进行求导来得出边缘的值。

直接用1近似。To implement above as convolution, what would be the associated filter?
可以用卷积计算导数。

边缘、图像求导和卷积之间的关系

就看成是一个向量乘已经存在的f(x+1,y)和f(x,y)：
[f(x+1,y),f(x,y)][1,-1]^-1最后得到的是导数

图像梯度

指向的是这个点灰度变化最大的方向，梯度方向和边之间有什么关系，梯度方向通常是和边垂直的。
梯度值越强就越有可能是边，最后真正表示边缘是使用上面的式子，图像如下图最后一个。
每个点的强度知道了边也知道了因为梯度的那个垂直关系是可以看出来的。