深度学习图像分类篇-1.1卷积神经网络基础

此系列为b站教程的笔记：传送门

卷积神经网络简单说就是有卷积层的神经网络。

卷积层

操作：在卷积神经网络中，卷积层中的卷积核（或称之为滤波器）类似于一个滑动窗口，在整个输入图像中以特定的步长来回滑动，经过卷积运算之后，从而得到输入图像的特征图，这个特征图就是卷积层提取出来的局部特征，而这个卷积核是共享参数的。在整个网络的训练过程中，包含权值的卷积核也会随之更新，直到训练完成。
作用：相当于图像处理中的“滤波器运算”，主要负责特征提取操作，进行图像特征提取。
两个特点：

• 局部区域连接
  在传统的神经网络结构中，神经元之间的连接是全连接的，即n-1层的神经元与n层的所有神经元全部连接。但是在卷积神经网络中，n-1层与n 层的部分神经元连接。图1展示了全连接与局部连接的区别之处，左图为全连接示意图，由图可以看出前一层到后一层神经元之间都有边存在，每条边都有参数，由此可见全连接的参数很多。右边为局部连接，由图中可以看出仅存在少量的边，可见参数减少了很多。对比左右两图可以明显看出连接数成倍的减少，相应的参数也会减少。

通过卷积层的局部连接特性能够有效地减少权值参数的数量，加快模型的学习速率，并在一定程度上可以避免过拟合现象。

• 权值共享
  权值共享就是整张图片在使用同一个卷积核内的参数。比如一个331的卷积核，这个卷积核内9个的参数被整张图片共享，而不会因为图像内位置的不同而改变卷积核内的权系数。

权值共享特性使得普通神经网络与卷积神经网络的参数计算方法不同，前者的参数与输入特征的多少（对于图片就是像素多少）和神经元的数量有关，而后者只与卷积核的大小和神经元数量有关。这样能大大减小参数数量（个人理解）

从下面的两个例子可以看到使用卷积层参数减少很多，可以看出权值共享这样的特性。

卷积核的channel（通道或称维度）和输入特征的channel相同
输出特征矩阵的channel与卷积核的个数相同。

对于relu激活函数而言，一开始不建议学习率比较大，因为这样容易导致反向传播无法更新权重，进入失活状态。

卷积操作过程中越界怎么办？

这里W=4,滤波器（卷积核）大小F=3，步长S=2，填充P=1。这里没有对称补0，所以N=（W-F+P）/S+1。

池化层

作用：对特征图像进行稀疏处理，减小数据运算量。根据图像局部相关性的原理，选取输入特征图的一个小区域，对图像进行特征池化（以最大值或平均值的方式），减少模型的计算量，使网络具有一定的抗噪能力。

操作：池化核就是一个矩形框，对输入矩阵进行扫描，对输入矩阵中处于矩形框中的数据进行取最大值或者求和取平均。
有最小值池化、最大值池化和平均值池化。
最大值池化

平均值池化

特点：

• 没有训练参数：池化核中没有参数，其实就是一个矩形框，以一定的步长“扫描”输入矩阵，对池化核框中的数据进行操作。
• 只改变特征的W和H，不改变维度：如果输入维度是（4，4，3），池化核和步长都为2，那么输出维度为（2，2，3）
• 一般池化核的大小与步长相同，这样可以得到的输出大小为输入H*H的一半。

全连接层

每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。
理解全连接层：
假设一个激活函数的3x3x5的输出，经过全连接层变成1x4096的形式，如下图。

最左侧的3×3×5是一个激活函数的输出，最右侧方框是一个全连接层的输出。激活函数的输出经过全连接层可以理解为经过了一次卷积，用3×3×5的卷积核去卷积激活函数的输出。得到的结果就是一个fully connected layer 的一个神经元的输出，这个输出就是一个值。
有4096个神经元，所以就是用一个3x3x5x4096的卷积层去卷积激活函数的输出。

作用：对提取的特征进行分类，根据任务的不同输出最终结果（概率）。全连接层前面的层的作用是提取特征，而全连接层则是实现分类。
（通常需要接不止一个全连接层）
全连接层起到将学到的“分布式特征表示”映射到样本标记空间的作用，就是把特征representation整合到一起，输出为一个值。这样可以大大减少特征位置对分类带来的影响，增强鲁棒性。