卷积神经网络架构

1.LeNet-5

第一个卷积神经网络，开始的目的是用来识别数字的。
使用的是sigmoid和Tanh函数
首次提出了卷积神经网络的卷积层、池化层、和全连接层以及权值共享，感受野等概念。

2.AlexNet

具有历史意义的一个网络结构。
使用了非线性激活函数relu，防止过拟合的方法dropout和数据扩充，批标准化层的使用

3.VGG

vgg-16的结构十分简单，深度较于alexnet深得多。vgg的卷积层都是same的卷积，即卷积过后的输出图像的尺寸与输入是一致的，它的下采样完全是由max pooling来实现。
vgg网络后接三个全连接层。
闪光点：卷积层使用更小的filter尺寸和间隔。与alexnet相比，可以看出vgg-nets的卷积核尺寸还是很小的。
33卷积核的优点：
多个33的卷积层比一个大尺寸卷积层有更多的非线性，使得判决函数更加具有判决性。多个小的卷积层比一个大的卷积层有更少的尺寸。
1*1卷积：可以实现卷积核通道的降维和升维，实现参数的减小化。
看作是对多通道进行了线性组合。

4.Inception层

盗梦空间层
代替人手工去确定到底使用11，33，5*5还是是否需要max_pooling层，由网络自动去寻找适合的结构，并且节省计算。

GoogleNet结构

论文中包含了多个inception结构
Inception v2:提出了batch normalization，在卷积层与激活函数之间插入BN层
Inception v3:使用factorization的方法进一步对inception v2的参数数量进行优化和降低。
factorization：用小的卷积核替代大的卷积核并使用1*1卷积核预处理进行空间降维。
Inception v4:引入了resnet使训练加速性能提升。
Xception - Depthwise Separable Conv（深度可分离卷积）：设计出易迁移、计算量小，能适应不同任务，且精度较高的模型。

5.ResNet-里程碑式创新

网络的深度提升不能通过层与层的简单堆叠来实现。由于梯度消失问题，深层网络很难训练。因为梯度反向传播到前面的层，重复相乘可能使梯度无穷小。结果就是，随着网络层数更深，其性能区域饱和，甚至开始迅速下降。
特点：层数非常深，已经超过百层；引入残差单元来解决退化问题。
残差网络：通过增加恒等快捷键连接实现，直接跳过一个或多个层。
可以保证网络的深度在加深，但因为没有学习新的参数，网络不会发生退化现象。

DenseNet-密集连接卷积网络

将网络中的所有层两两进行了连接，使得网络中每一层都接受它前面所有层特征的作为输入。