【经典神经网络】-AlexNet/VGG/GoogLeNet/ResNet

1 AlexNet(2012,ImageNet冠军， CNN用于图像分类的开山之作）

结构：5 卷积层+3个全连接层（卷积核size:11,5,3）

特点：

1. ReLU 激活函数 （避免了sigmoid的梯度消失-反向传播的时候会连乘sigmoid的导数，初始值很大的话导数接近于0，导致前层网络梯度越来越小；计算量减小，加快了训练速度）
2. LRN（Local Response Normalization）: 利用前后几层对当前层的输出做平滑处理（抑制机制，避免ReLU响应结果非常大，做归一化处理，增加泛化能力）
3. fc层加入Dropout ：每次参数更新时，以一定的比例使一些神经元不参与前后向传播（相当于模型组合，减小过拟合）
4. Data Augmentation 数据扩充（随机裁剪，水平翻转），减小过拟合
5. 重叠池化（减小过拟合）
6. 多G