CNN卷积神经网络学习笔记

一、卷积神经网络介绍

1、卷积网络与传统网络的区别

1.1、传统的神经网络

展现出来的特征是二维的，比如输入的一个图像，传统的网络转成二维的：784 x 1

1.2、卷积神经网络

卷积神经网络展现的是三维的，比如比如输入的一个图像，转成三维的：28 x 28 x1

2、卷积神经网络整体架构

2.1、输入层
图像数据，例如：28 x 28 x 1 的三维数据

2.2、卷积层
特点：提取特征

2.2.1、卷积层的计算过程

首先，需要将图像进行一个分割，分成多个小块，目的是在不同的区域，得到的特征是不一样的。
之后，选择计算的方法。
将每一部分计算好就可以移动到下一部分进行计算。

图中，加深颜色的九个格子中，其中大的数字表示的但前的小区域的数据，下面的数字表示的是权重参数矩阵（找到最好的权重参数矩阵，使得最终提取的最好。这个过程是怎么得到后面的12呢。是通过每一个方格中的数据与下角标的权重进行相乘，最后将第一个大方格（9个小方格）的数据全部进行相加，得到。如：3 x 0 + 3 x 1 + 2 x 2 + 0 x 2 + 0 x 2 +1 x 0 + 3 x 0 +1 x 1 + 2 x 2 = 12）.在第一个大方格完成计算后，根据给出的步长进行移动，想有进行移动，如果步长为 1 ，就变成如下第二张图那样，同样进行和之前一样的操作。最终得出绿色的特征图。

注意：下图中，有一点不符合的地方，图中用的是5 x 5 x 3的卷积核，而在进行计算时用的是3 x 3 的卷积核，如果对应图中的5 x 5 x 3的图，计算时，也应该对应5 x 5的卷积核。

这张图中，Filter就相当于上文所说的卷积核，如图中Filter（3 x 3 x 3）前两个参数表示的是卷积核的长和宽（规格），最后一个表示层数，这个层数，要和进行计算的数据层数相同，最下面的 b 是一个偏置的值，我们通过在上文的计算方法的基础之上，再加上这个偏置的值，就可以得到后面绿色方格的值（特征图）。

这里就是使用了两个卷积核（Filter），最后得到了两个特征图。

图二就是，步长为2的进行移动，然后重复上面的计算方法。

可以通过用多个Filter对一个地方进行特征提取，这样可以让我们的特征结果更加的丰富，下图中得到了两张特征图，就表示用两个Filter对特征进行提取。

在对于一个图片来说，只是做一次卷积是不够的，需要多次的卷积，下图中表示每一次的卷积是在前面卷积过的基础上进行的，每一次的卷积是没有高低之分的，下图的写法可以认为是每一次得出的质量是不断的增加的。

2.2.2、堆叠的卷积层

图中每一层之间，都经历一个卷积的过程，像图中6、10，表示着用了6个不同的卷积核，用了10个不同的卷积核，下一次卷积时，图像的数据和卷积核应是相等的，就比如下图中，第一次用了6个不同的卷积核，下一次卷积时，用的卷积核就是6层的。

2.2.3、图像颜色通道

一般见到的是RGB三颜色通道，三个通道都会进行计算，最后再将三个卷积后的值加在一起

2.2.4、卷积层涉及参数

（1）滑动窗口步长

步长就是上文中提到的，每一个大的正方形（相对应卷积核尺寸的正方形）进行完计算后，所移动的距离。步长不相同的时候，最后对输出结果还是有影响的，如下图，步长小的，提取的结果更加的细腻，步长比较大的，提取的粗糙一些，但是效率会快一点。

一般图像的识别就用步长为1 的就可以了。

（2）卷积核尺寸

卷积核越小，采取的更加的细腻，卷积核越大，就会较为粗糙一点，卷积核尺寸的改变，会影响到最后输出结果的尺寸改变。

（3）边缘填充（padding）

红框中表示，填充的大小，1 表示填充了一圈。图二中，灰色的就是补上的值，补上的都是0。（这样的作法是为了避免边界值不能够很好的被利用起来，边界值同样有可能存在很重要的样本。补上0，是为了不对最后的结果产生影响。）

（4）卷积核个数

表示在最后的计算当中要得到多少个特征图，比如要得到10个特征图，就用10个卷积核，得到20个特征图，就用20个卷积核。（每一个卷积核的值都是不相同的，在初始化时被打乱）

2.2.5、卷积结果计算公式

$H_2$ 表示得到的结果 ，$H_1$ 表示原始的输入， $F_H$ 表示一个Filter的大小, $P$ 表示要加上几圈的0（因为是上面加一层，下边加一层，所以需要乘上2）， $S$ 表示步长，下边的宽度表达式，参数的意思是相同的，只是变量名进行了改变

2.2.6、卷积参数共享

在对每一个小区域进行卷积时，卷积核的值是不发生改变的。

2.3、池化层

特点：压缩特征

只有长和宽会发生改变，特征图的个数是不会发生改变的。

2.3.1、最大池化（MAX POOLING）
会通过规定的区域中，选择出，值最大的一个，构成一个新的特征图。（没有涉及到矩阵的计算）

2.4、全连接层
通过一组权重参数，如：784 x 50 （输出层和隐层连接在一起）
2.5、输出层
得出各个类别的概率值

二、整体架构

1、整体解读

两次卷积跟着一个池化（每个卷积后，都有一个激活函数）

在经过卷积、池化的特征提取后，在经过全连接层进行一个分类，需要将前面生成的三维图，变成一个特征向量，放入到全连接层中，后面分为5类，后面的参数就是5


带参数的才能够被称为一层神经网络，卷积层带，激活函数不带，池化层不带，全连接层也带。

2、特征图变化

转换，就是前面，将三维的转化成特征向量的操作

三、参考

https://www.bilibili.com/video/BV1S64y1z7iX?p=69