经典神经网络

LeNet（1998）

可以看作是第一个卷积网络的实例。使用步长为1，大小为5x5的卷积核

主要用于数字识别领域。

AlexNet（2012）

第一个在ImageNet的分类比赛中获得成功的大型卷积神经网络（第一个基于深度学习的网络架构）。从此卷积神经网络开始了大规模的研究和应用。

基础架构是卷积层——池化层——归一化层——卷积层——池化层——全连接层。

层数变多，卷积层达到了5层。

VGG（2014）

VGG16、VGG19

使用小卷积核（3x3）：可以得到比较小的参数量，然后可以利用堆栈保存更多参数。可以尝试更深的网络和更多的卷积核。7x7—>3个3x3：一样有效的感知视野，但是网络更深，可以有更多的非线性操作，更少的参数。

大多数内存使用在前面的卷积层，大量的参数在后面的全连接层。

GoogleNet（2014）

22层。没有全连接层，参数比AlexNet少。

Inception结构，可以进行高效的计算。对进入相同层的相同输入并行应用不同的滤波操作，进行不同的卷积：1x1，3x3，5x5，还有3x3的池化，这样可在得到不同的输出，然后把所有滤波器的输出在深度上结合起来传入下一层。

计算复杂性问题—>增加1x1的卷积（瓶颈层）（卷积层之前，池化层之后）：保持空间维度一致，但减小深度，对特征图做了一次线性组合。不使用其它类型的降维：1x1的卷积可以直接通过网络的训练学习如何对特征进行组合。

ResNet(2015)

152层。残差结构。

ResNet采用skip connect结构，使用了残差输出的结果为$h(x)=f(x)+x$，每一个梯度就加上了一个恒等项1，$\frac{\partial h(x)}{\partial x}=\frac{\partial (f(x)+x)}{\partial x}=\frac{\partial f(x)}{\partial x}+1$。此时就算原来的梯度很小，这时候误差仍然能够有效的反向传播，这就是核心思想。ResNet还打破了网络的对称性，提升了网络的表征能力。