【卷积神经网络】| AlexNet 、 VGG

研究背景

LeNet: 在大的真实数据集上的表现并不尽如⼈意。
1.神经网络计算复杂。
2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。

机器学习的特征提取:手工定义的特征提取函数。
神经网络的特征提取：通过学习得到数据的多级表征（边缘--> 花纹，轮廓---> 物品），并逐级表⽰越来越抽象的概念或模式。

 

开启了深度卷积神经网络时代——AlexNet：首次证明学习的特征可以超越⼿⼯设计的特征，⼀举打破计算机视觉研究的前状。

特征：

1. 8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。通道明显增多，得到特征更多
2. 将sigmoid激活函数改成了更加简单的ReLU激活函数（正的导数为1；负的导数为0，起到正则化，稀疏的作用）
3. 用Dropout来控制全连接层的模型复杂度。
4. 引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。
5. 使用最大池化代替平均池化，起到稀疏参数的作用。

conv1: 输入：（3,224,224）---> （224-11）/4+1 =54  输出：（96,54,54）

<