经典cnn模型汇总（alexnet，vggnet，inception）

总体趋势图

1.alexnet：

优点：
1.使用了relu，并验证在较深的网络中解决了sigmod会产生梯度弥散问题
2.在最后全连接层使用了dropout避免了过拟合
3.使用最大池化，避免平均池化的模糊化效果，并提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠覆盖，提升特征丰富性
4.提出了lrn（归一化）层

2.vggnet（16，19）

优点：用两个3乘3卷积层代替1个5乘5卷积层，特征学习能力更强
总结观点：LRN层作用不大，越深的网络越好，1乘1卷积核也是有效的，但是没有3乘3好，大一些的卷积核可以学习更大空间特征

3.inception（v1,v2,v3，v4)
v1（googlenet）：inception module