背景
- AlexNet作者是多伦多大学Alex Krizhevsky,在2012年发表
- AlexNet论文:http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf
原理
- 网络结构如如图所示:整个网络结构是由5个卷积层和3个全连接层组成的,深度总共8层。
- 正式引入relu激活函数
- sigmoid与tanh有饱和区,Relu函数在x>0时导数一直是1,解决了激活函数的导数问题,有助于缓解梯度消失,也能在一定程度上解决梯度爆炸,从而加快训练速度
- 无论是正向传播还是反向传播,计算量显著小于sigmoid和tanh