AlexNet《ImageNet Classification with Deep Convolutional Neural Networks》

论文地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

论文翻译：http://www.cnblogs.com/zf-blog/p/6432709.html

网络扩大（5个卷积层+3个全连接层+1个softmax层）并以显著的优势赢得了困难的ImageNet竞赛。

这项工作的贡献：

1）使用修正的非线性单元（ReLU）；

2）训练时候使用Dropout技术有选择的忽视单个神经元，Data augmentation扩充数据，LRN归一化层从而避免过拟合；

3）覆盖进行最大池化，避免平均池化的平均化效果；

4）使用GPU NVIDIA GTX580减少训练时间；

注：LRN层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。