AlexNet 笔记
1. 网络介绍:
- ImageNet2012竞赛第一名;他标志着DNN深度学习革命的开始;
- 网络包含5个卷积层+3个全连接层;
- 60M个参数+650K个神经元;
- 2个分组——>2个GPU(3G,受限于当时硬件),训练时长一周,50x加速;
- 引入的新技术有:
ReLU – 非线性激活;
Max pooling – 池化;
Dropout regularization – 用于防止过拟合,在判断决策的FC层使用;
2. 模型网络框图:
![1.png](https://raw.githubusercontent.com/chiemon/chiemon.github.io/master/img/Alexnet/1.png)
输入图片大小理论上应为227X227X3(大小为227*227的RGB图)
每一层的结构:
![2.png](https://raw.githubusercontent.com/chiemon/chiemon.github.io/master/img/Alexnet/2.png)
其中LRN为局部响应归一化,具体解释可参考文章: http://blog.csdn.net/hduxiejun/article/details/70570086
![3.png](https://raw.githubusercontent.com/chiemon/chiemon.github.io/master/img/Alexnet/3.png)