经典卷积神经网络——AlexNet

概述：

当我们站在2012年的时间节点上，AlexNet网络模型的出现，可以说是CNN的里程碑。由于它将ImageNet LSVRC-2010图片识别测试的错误率从之前最好记录top-1 and top-5 测试集 错误率 47.1% and 28.2% 一下子降低到了 37.5% and 17.0%，虽然它不是CNN的开创者，但它首次使用了很多现代深度卷积神经网络（Deep Convolutional Neural Networks）一些技术，比如使用GPU进行并行训练（当时的旗舰级别GPU只有GTX 580 3GB，对于如此深度的CNN并不足够，因此网络被分成上下两层，一块GPU处理一部分的数据，并在中间部分层进行数据通讯），采用了ReLU作为非线性激活函数，使用Dropout（对于一部分的节点设置一个丢弃的概率 p = 0.5 ，通过将随机训练中的一些节点“暂时丢掉”，如果本次抽中“dropout”，那这个节点就不参与正向和反向的传播计算）来防止过拟合，使用数据增强（Data Augmentation）来提高模型的准确率等，因此它是深度卷积网络热潮的开端，从此以后人们开始更加关注CNN在图像方面的应用，以致后来产生了越来越强大的模型，比如GooLeNet、VGGNet、ResNet、Mask RCNN等等。

原论文链接：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

图1. AlexNet赢得了2012年ImageNet图像分类竞赛的冠军

AlexNet结构

AlexNet网络总共有8层构成，其中5层的卷积层（convolutional layers）、3个全连接层（fully connected layers）和1个softmax层。原论文中就是这张图，后来这张图被无数次的引用到各种CNN的课程和会议上。在 ILSVRC-2010中，它能够训练出1.2亿图片模型，其中验证集有：