神经网络与深度学习-课程内容总结2

之前介绍的全连接网络会出现权值多，算的慢，难收敛，易进入局部最小值或产生过拟合的问题。

因此要引入卷积神经网络。

深度学习和卷积神经网络的基本概念：

1.卷积部分：理解卷积的特征提取功能，理解填充（padding）,步长(Stride)，多通道卷积计算方法

2.池化部分（Pooling）：局部统计特征，如均值或最大值，解决特征过多的问题。

卷积神经网络结构：由多个卷积层和下采样层构成，用作特征提取，后面可以连接全连接网络。

卷积神经网络的前向传播只需要在原基础上改变α，即可获得公式。

卷积层和池化层的反向传播也可以分别得到。

LeNet-5网络

• 输入层： LeNet5 网络的输入为32 × 32 大小的图像，比MNIST 数据集的图片稍微大一些。
• C1 层（ 卷积层）：使用6 个大小为5 × 5 的卷积核对输入图像进行卷积操作，卷积后得到的特征图尺寸为28 ，因此产生6 个大小为28 × 28 的特征图。

• S2 层（ Pooling 层）：这里采用Max Pooling 操作， Pooling 窗口大小为2 × 2 。经过Pooling 层后得到6 个14 × 14 的特征图，作为下一层的输入。

• C3 层（卷积层）：使用16 个大小为5 × 5 的卷积核对输入的特征图进行卷积操作。值得注意的是， C3 中输出的特征图是S2 中的特征图进行加权组合得到的。卷积的维数有3、4、5三种，共同作用，输出为16 个10 × 10 的特征图。

• S4 层（ Pooling 层）：同样采用Max Pooling 操作， Pooling 窗口大小为2 × 2 。最后输出16 个5 × 5 的特征图，神经元个数为400 ( 16 × 5 × 5 ）。

• C5 层（全连接层）：该层可以理解对S4 层产生的特征向量进行拉伸，每一个像素代表一个神经元，使用全连接操作输出特征为120 个神经元。

• F6 层：该层与C5 层进行全连接，输出特征为84 个神经元。

• 输出层：该层与F6 层全连接，输出长度为10，代表所抽取的特征属于哪个类别。

AlexNet网络

 AlexNet与LeNet很相似，在AlexNet的第一层，卷积窗口的形状是11×11。由于ImageNet中大多数图像的宽和高MNIST图像的多10倍以上，因此，需要一个更大的卷积窗口来捕获目标。第二层中的卷积窗口形状被缩减为5 × 5，然后是3 × 3。此外，在第一层、第二层和第五层卷积层之后，加入窗口形状为3 × 3、步幅为2的最大汇聚层。而且， AlexNet的卷积通道数目是LeNet的10倍。 

除此之外，相对LeNet，AlexNet还有池化层均采用最大池化、选用ReLU作为非线性环节激活函数、网络规模扩大，参数数量接近6000万、出现“多个卷积层+一个池化层”的结构等改进。