CNN经典网络AlexNet介绍及其pytorch实现

目录

1 前言

2 网络结构

3 模型特点

3.1 ReLU激活函数

3.2 重叠池化层

3.3 多GPU训练

3.4 dropout

4 模型实现

5 参考文献

---

1 前言

        2012 年， AlexNet 横空出世。这个模型的名字来源于论⽂第一作者的姓名 Alex Krizhevsky。该模型以很大的优势获得了2012年ImageNet LSVRC竞赛的冠军，其准确率远超使用传统图像识别的准确率(top5错误率为15.3%，第二名为26.2%)。AlexNet网络的问世，成为了深度学习的引爆点，自那以后，深度学习迅速发展。

2 网络结构

Alexnet模型为8层深度网络，由5个卷积层和3个池化Pooling 层 （池化层不含参数，所以不计），还有3个全连接层构成。

        从图中可以看出，AlexNet网络结构分为上下两层，分别对应两个GPU的操作过程，这是由当时GPU内存的限制从而引起的，因此作者使用两块GPU进行计算，网络模型因此分为了上下两层。但是，随着GPU的发展，单个GPU足以实现这个模型。简化网络结构如下所示：

 相当于把原来的两层模型合并成一层，最后的输出结果还是不变，还是由4096-->1000

3 模型特点

3.1 ReLU激活函数

作者在模型实现的过程中引入非饱和非线性函数修正线性单元(Rectified linear unit，ReLU）     f(x) = max(0, x)，作者表示在深度卷积神经网络中使用ReLU的训练时间比使用tanh要快几倍，   如下图所示&#