AlexNet论文

Response Normalization用于1，2层，Maxpooling层用于1，2，5，Relu用于所有层

1、作者使用ReLu，大大加快了训练速度，数倍于saturating neurons，如tanh,sigmoid

2、使用Local Response Normalization

3、使用Overlapping Pooling stride=3,size=2

防止过拟合：
为防止过拟合，作者用了两种方法：
1、数据增广：

2、使用PCA改变各通道强度


作者指出：这么做因为，物体本体不受光照和颜色影响

3、DropOut
作者最初思路是结合不同模型进行预测，但是受当时GPu限制，类似于将两个模型结合在一个网络中，在训练时，以0.5的概率，随机将隐藏层权重设置为0，设置为0时，不参加forward，也不backpropagation,所以每次有新的输入时，网络变幻出不同的结构，但是整体整个网络共享权重。减少了神经元之间的相互依赖，保证神经元必须学到足够健壮的特征以与其他神经元子集相连接。
测试时，所有的神经元参与，但是，每个神经元的输出乘以0.5。

作者将dropout使用在最后两个全连接层，使用DropOut，使得收敛所需的迭代次数增加了一倍。

模型训练细节

权重初始化：0均值，方差为0.01的高斯分布
Bias初始化：2、4、5、全连接层初始化为1，其他层初始化为0 促使ReLu输入为正值 ，加速网络初期的学习
学习率初始化为0.01，终止时减少了三倍

作者训练了五到六天训练了90轮，使用两块NVIDIA GTX 580 3GB GPUs

结果：
ImageNet ILSVRC-2010

最后，作者分别使top-5预测和对最后一层输出4096维向量计算欧氏距离衡量图片之间语义相似度