深度学习经典卷积神经网络之AlexNet

论文地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

中文翻译：http://blog.csdn.net/liumaolincycle/article/details/50496499

1. 网络结构

2012年，Hinton的学生AlexKrizhevsky提出了深度卷积神经网络模型，可以算是LeNet的一种更深更宽的版本，其获得了2012年ILSVRC比赛分类项目的冠军，top-5错误率16.4%，使用额外数据可达到15.3%。AlexNet包含了八个学习层——5个卷积层和3个全连接层。

1.1 修正线性单元ReLU

相对于饱和非线性函数如tanh和sigmoid函数，不饱和非线性函数f(x)=max(0,x)在梯度训练时间上表现要快得多，称这种不饱和非线性的神经元为修正线性单元ReLU。训练带ReLUs的深度卷积神经网络比带tanh单元的同等网络要快好几倍。