关于 Alex 的传说……大家随便听个报告都会讲到,这里就不说了。本文主要目的是为自己梳理知识,以便日后复习。
- 网络结构
- ReLU
- Dropout
AlexNet
ImageNet Classification with Deep Convolutional Neural Networks
http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-network
前5层是卷积层
,后3层是全连接层
,
每层卷积层后接RuLU
激活
前两层和最后一层卷积后有池化
,具体如下图。
![AlexNet](https://i-blog.csdnimg.cn/blog_migrate/1e4e714f610b8cdc3717327d85b9b0db.png)
ReLU Nonlinearity
![activation function](https://i-blog.csdnimg.cn/blog_migrate/55050ffc31ef7c073faa25299ac64aa5.png)
激活函数是从 Sigmoid 到 tanh 到 ReLU 的,最初用 Sigmoid
存在三个问题
-
Saturated neurons “kill” the gradients.
- 当输入 x=0 时ÿ