研究背景
LeNet: 在大的真实数据集上的表现并不尽如⼈意。
1.神经网络计算复杂。
2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。
机器学习的特征提取:手工定义的特征提取函数。
神经网络的特征提取:通过学习得到数据的多级表征(边缘--> 花纹,轮廓---> 物品),并逐级表⽰越来越抽象的概念或模式。
开启了深度卷积神经网络时代——AlexNet:首次证明学习的特征可以超越⼿⼯设计的特征,⼀举打破计算机视觉研究的前状。
特征:
- 8层变换,其中有5层卷积和2层全连接隐藏层,以及1个全连接输出层。通道明显增多,得到特征更多
- 将sigmoid激活函数改成了更加简单的ReLU激活函数(正的导数为1;负的导数为0,起到正则化,稀疏的作用)
- 用Dropout来控制全连接层的模型复杂度。
- 引入数据增强,如翻转、裁剪和颜色变化,从而进一步扩大数据集来缓解过拟合。
- 使用最大池化代替平均池化,起到稀疏参数的作用。
conv1: 输入:(3,224,224)---> (224-11)/4+1 =54 输出:(96,54,54)
<