AlexNet补充

对上篇文章的补充

激活函数

sigmoid和tanh是饱和的激活函数，会造成梯度消失的问题，学习速率降低

把模型并行的放在两个GPU上

overlapping pooling

文章认为这种方法可以防止过拟合

减少过拟合之数据增强（增加图片的数量，参与训练）

        1、对一张图片进行裁剪，平移转换等，一张图片可以变为很多张图片

        2、随图片的颜色和 光照等进行随机的变换，一张图会变成很多张图。（使用到了PCA分析）

减少过拟合之dropout

每一个神经元有50%的概率被随机掐死，即随机阻断该神经元的前向和反向传播，那么每一个神经元与其它的神经元的合作就是随机的，打破了他们的联合依赖适应性。