AlexNet-阅读笔记-理解

论文：Imagenet classification with deep convolutional neural networks
理解参考：http://www.cnblogs.com/gongxijun/p/6027747.html
http://blog.csdn.net/sunbaigui/article/details/39938097

核心技术：
1.使用水平翻转，随机裁剪，平移变换，颜色，光照变换等技术进行数据增强，增加数据量，减少过拟合的发生。
2.提出Dropout防止过拟合
3.使用ReLU激活函数，
ReLU本质上是分段线性模型，前向计算非常简单，无需指数之类操作；
ReLU的偏导也很简单，反向传播梯度，无需指数或者除法之类操作；
ReLU不容易发生梯度发散问题，Tanh和Logistic激活函数在两端的时候导数容易趋近于零，多级连乘后梯度更加约等于0；
ReLU关闭了右边，从而会使得很多的隐层输出为0，即网络变得稀疏，起到了类似L1的正则化作用，可以在一定程度上缓解过拟合
4. Local Response Normalization
利用近邻的数据做归一化。
5.Overlapping Pooling
6.双路GPU进行计算

成就：达到前所未有的识别准确率，将深度学习推向风口浪尖。

整个网络的结构如下图所示:

该模型一共分为八层,其中包含5个卷积层,3个全连接层,在每个卷积层中包含了激励函数Relu以及局部响应归一化处理,然后经过降采样/池化(pooling)处理.

一些相关概念:
http://www.jianshu.com/p/58168fec534d?from=androidqq
http://blog.csdn.net/cyh_24/article/details/51440344