深度卷积网络-经典网络（LeNet/AlexNet/VGG-16）

LeNet-5

网络结构：

1. 提出是在1998年，那时候池化层常用平均池化（但其实现在常用最大池化，应为效果好一些）
2. 最后的输出没有用现在常用的softmax分类器，而现在常用softmax分类器
3. 一共由60k个参数，对于现在来说，是一个小的神经网络（现在一千万或者一亿）
4. 图像大小变化和信道数量变化趋势：随着网络深度加深，图像变小、信道数量增多
5. 一个或者多个卷积层后面跟着一个池化层，全连接层，输出层这样的结构现在也常用
6. 过去常用Sigmoid函数和Tanh函数作为激活函数，而现在常用ReLU
7. 最经典的LeNet网络，在池化层后面加了Sigmoid函数

AlexNet

网络结构：

1. 与LeNet很相似，但是大很多，有60m参数
2. 使用了Relu激活函数
3. 采用了在两个gpu上运行的方式
4. 采用了 LRN层（局部相应层）

VGG-16

网络结构：

1. 网络很大由一亿多参数
2. 但是网络结构不复杂
3. 卷积层从64翻倍到128一直翻倍到512
4. 图像缩小比例饿和信道增加的比例是有规律的，随着网络加深，图像的高度和宽度都在以一定的规律不断缩小，每次池化以后刚好缩小一半，而且信道数量在不断增加，刚好是在每一组卷积操作后增加一倍

关于更详细的介绍参考博客博客链接