经典CNN结构之AlexNet 复兴号角

序言

卷积神经网络AlexNet，出自于论文ImageNet Classification with Deep ConvolutionalNeural Networks ，三位作者为Alex Krizhevsky，Ilya Sutskever，Geoffrey E. Hinton，均来自于University of Toronto，Hinton大师亲自带队，该网络架构以首作者Alex Krizhevsky姓名命名为AlexNet。
此网络参加了ILSVRC2012年大赛，以高出第二名10%的性能优势取得了冠军。AlexNet网络也是VGGNet、GoogLeNet、ResNet、DenseNet等经典网络的基础和开端，故而称之为卷积神经网络深度学习的“复兴号角”。
从1998年到2012年，不易！
AlexNet首次在大规模图像数据集ImageNet实现了深层卷积神经网络结构，并以碾压传统hand-craft特征方法之势暴力夺冠，从此释放了深度学习的洪荒之力！

网络结构

图解

详解

创新思想

核心点

★ ReLU(Rectified Linear Units) Nonlinearity 线性约束单元作为AlexNet的激活函数
详情参阅下文

V. Nair and G. E. Hinton. Rectified linear units improve restricted boltzmann machines. In Proc. 27th International Conference on Machine Learning, 2010.

★ Overlapping Pooling 重叠池化
★ Local Response Normalization 局部响应归一化
★ Dropout 解决 过拟合问题 的tricks
详情参阅下文

G.E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever, and R.R.Salakhutdinov. Improving neural networks by preventing co-adaptation of feature detectors. arXiv preprint arXiv:1207.0580, 2012.

★ 高效的GPU卷积运算结构
使得GPU成为深度学习的主要工具，NVIDIA的老黄着实应该给大师实验室支付一大笔广告推广费用。

感悟点

[1]十年磨一剑，霜刃未曾试。今日把示君，谁有不平事？
[2]自此，业内研究者跳出了特征方法和特征工程，开始思考以CNN算法模型、超大规模数据配合强悍的算力来实现自动特征提取的方案。
[3]自此，ImageNet LSVRC挑战赛冠军之位，被深度学习模型锁定。
[4]自此，算法+算力+数据三要素驱动AI模式肇兴。

参考论文

1. ImageNet Classification with Deep Convolutional Neural Networks. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton. 2012 论文传送门