深度学习-经典网络对比

1）AlexNet 相比于传统的CNN 的改动

1.数据增强

2 dropout

3 Relu 激活函数

4 Local Response Normalization 局部响应归一化，利用临近的数据做归一化

5 overlapping Pooling  pooling 的步长比Pooling kernel 的对应边要小

6 多GPU 并行

2） VGG 很好的继承了AlexNet ，更深

3）GoogleNet

更深。主要创新是Inception，是一种网中网的结果，即原来的结点也是一个网络，Inception 一直在不断发展，其中的1*1 卷积主要是用来降维的，

4） ResNet

更深 主要的创新是残差网络，这个网络的提出本质还是要解决层次比较深的时候无法训练的问题，优化目标从拟合输出H(x) 变成输出和输入的差H(x)-x。