深度学习（三）：卷积神经网络CNN（常用CNN网络介绍）

深度系列主要为 我在国科大研一期间，在《深度学习》课程中所学知识概述，根据PPT制作思维导图。

----------------------------------------------------------------------------------------------------------------------------------------------

感受野：单个感觉神经元的感受野是感觉空间的特定区域(如体表或视野)，在这个区域内，刺激会改变神经元的放电。

池化层：池化操作使用某位置相邻输出的总体统计特征作为该位置的输出，常用最大池化和均值池化；池化层不包含需要训练学习的参数，仅需要指定池化操作的核大小、操作步幅以及池化类型。

池化的作用：①减少网络中参数的计算量，从而遏制过拟合；②增强网络对输入图像中的小变形、扭曲、平移的鲁棒性（输入里的微小扭曲不会改变池化输出——因为我们在局部领域已经取了最大值/平均值）

(1)LeNet-5

LeNet-5由LeCun等人提出于1998年提出。主要进行手写数字识别和英文字母识别。经典的卷积神经网络，LetNet虽小，各模块齐全，是学习CNN的基础。

(2)AlexNet:

首次成功应用ReLU作为CNN的激活函数。使用Dropout丢弃部分神元，避免了过拟合。使用重叠MaxPooling（让池化层的步长小于池化核的大小），一定程度上提升了特征的丰富性。使用CUDA加速训练过程。进行数据增强，原始图像大小为256×256的原始图像中重复截取224×224大小的区域，大幅增加了数据量，大大减轻了过拟合，提升了模型的泛化能力。

AlexNet最后2个全连接层中使用了Dropout,因为全连接层容易过拟合，而卷积层不容易过拟合。

①随机删除网络中的一些隐藏神经元，保持输入输出神经元不变；

②将输入通过修改后的网络进行前向传播，然后将误差通过修改后的网络进行反向传播；

③对于另外一批的训练样本，重复上述操作

原理：①相对于训练大量模型耗费大量时间，dropout在AlexNet中只需花费2倍的训练时间。②引入稀疏性。因为部分神经元被删除，原来有些特征可能会依赖于固定关系的隐含节点共同作用，通过Dropout的话，就有效组织了某些特征在其他特征下才有效果的情况。③类似模型集成。在Dropout训练过程中，网络因为随机删除节点，导致实际上存在多种网络结构，却共用一组参数。

(3)VGG-16

VGGNet由剑桥大学和DeepMind公司提出。获得ImageNet LSVRC-2014亚军。比较常用的是VGG-16，结构规整，具有很强的拓展性。相较于AlexNet，VGG-16网络模型中的卷积层均使用3*3的卷积核，且均为步长为1的same卷积，池化层均使用2*2的池化核，步长为2。

两个卷积核大小为3*3的卷积层串联后的感受野尺寸为5*5，相当于单个卷积核大小为5*5的卷积层。两者参数数量比值为(2*3*3)/(5*5)=72% ，前者参数量更少。此外，两个的卷积层串联可使用两次