整理ImageNet Classification with Deep Convolutional Neural Networks中的要点

粗略整理：
1.训练时间非常长
2.ReLUs能够数倍提高训练的速度，并且容易避免梯度爆炸（但是存在ReLU变为0的“死亡”现象），并且梯度计算也更加简单（只有0，1），使得训练深度更加深的网络成为可能（或者同等深度时加速训练）。
3.Local Response Normalization没看懂
4.Overlapping Pooling，一种带重叠的pooling方法，可以减少一点点的错误率，论文中声称利用该方法可以稍微减少过耦合。
5.为了减少过耦合，本论文中主要用到两种方法：第一种是在训练过程中使用一些稍微处理过的样本（如镜像）；第二种是用一种叫做Dropout的方法，就是对于每个隐藏的单元，在训练中有50%的几率设为0，逼迫网络在不同的情况下提升表现能力。最后predicate的时候，使用了dropout的层的激活单元的激活值需要×0.5。