李宏毅机器学习课程10~~~卷积神经网络

---

卷积的意义

---

数字图像是一个二维的离散信号，对数字图像做卷积操作其实就是利用卷积核（卷积模板）在图像上滑动，将图像点上的像素灰度值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素的灰度值，并最终滑动完所有图像的过程。

这张图可以清晰的表征出整个卷积过程中一次相乘后相加的结果：该图片选用3*3的卷积核，卷积核内共有九个数值，所以图片右上角公式中一共有九行，而每一行都是图像像素值与卷积核上数值相乘，最终结果-8代替了原图像中对应位置处的1。这样沿着图片一步长为1滑动，每一个滑动后都一次相乘再相加的工作，我们就可以得到最终的输出结果。除此之外，卷积核的选择有一些规则：

1）卷积核的大小一般是奇数，这样的话它是按照中间的像素点中心对称的，所以卷积核一般都是3x3，5x5或者7x7。有中心了，也有了半径的称呼，例如5x5大小的核的半径就是2。
2）卷积核所有的元素之和一般要等于1，这是为了原始图像的能量（亮度）守恒。其实也有卷积核元素相加不为1的情况，下面就会说到。

3）如果滤波器矩阵所有元素之和大于1，那么滤波后的图像就会比原图像更亮，反之，如果小于1，那么得到的图像就会变暗。如果和为0，图像不会变黑，但也会非常暗。

4）对于滤波后的结构，可能会出现负数或者大于255的数值。对这种情况，我们将他们直接截断到0和255之间即可。对于负数，也可以取绝对值。

卷积操作有两个问题：
1. 图像越来越小；
2. 图像边界信息丢失，即有些图像角落和边界的信息发挥作用较少。因此需要padding。

卷积核大小通常为奇数，
一方面是为了方便same卷积padding对称填充，左右两边对称补零；
n+2p-f+1=n
p=(f-1)/2
另一方面，奇数过滤器有中心像素，便于确定过滤器的位置。

更多细节见
理解图像卷积操作的意义
padding

输入：n*c0*w0*h0
输出：n*c1*w1*h1
其中，c1就是参数中的num_output，生成的特征图个数
 w1=floor((w0+2*pad-kernel_size)/stride)+1;向下取整
 h1=floor((h0+2*pad-kernel_size)/stride)+1;向下取整
如果设置stride为1，前后两次卷积部分存在重叠。如果设置pad=(kernel_size-1)/2,则运算后，宽度和高度不变。
由pad, kernel_size和stride三者共同决定。

更多细节可见卷积步长

不同卷积核下卷积意义

我们经常能看到的，平滑，模糊，去燥，锐化，边缘提取等等工作，其实都可以通过卷积操作来完成，下面我们一一举例说明一下：
（1）一个没有任何作用的卷积核：

将原像素中间像素值乘1，其余全部乘0，显然像素值不会发生任何变化。
（2）平滑均值滤波：
选择卷积核：

该卷积核的作用在于取九个值的平均值代替中间像素值，所以起到的平滑的效果：

（3）高斯平滑：
卷积核：

高斯平滑水平和垂直方向呈现高斯分布，更突出了中心点在像素平滑后的权重，相比于均值滤波而言，有着更好的平滑效果。

（4）图像锐化：
卷积核：

该卷积利用的其实是图像中的边缘信息有着比周围像素更高的对比度，而经过卷积之后进一步增强了这种对比度，从而使图像显得棱角分明、画面清晰，起到锐化图像的效果。

除了上述卷积核，边缘锐化还可以选择：

（5）梯度Prewitt：
水平梯度：

垂直梯度：

梯度Prewitt卷积核与Soble卷积核的选定是类似的，都是对水平边缘或垂直边缘有比较好的检测效果。

（6）Soble边缘检测：
Soble与上述卷积核不同之处在于，Soble更强调了和边缘相邻的像素点对边缘的影响。
水平梯度：

垂直梯度：

以上的水平边缘与垂直边缘检测问题可以参考：Soble算子水平和垂直方向导数问题

（7）梯度Laplacian：

卷积核：