CNN经典模型回顾

CNN经典模型回顾

1. AlexNet

AlexNet可以算是第一个“深度”神经网络，主要创新在于网络深度的加深和防止过拟合的dropout以及防止梯度消失/爆炸的激活函数: ReLU.

2. VGG

相比于AlexNet，VGG更深了。同时，VGG采用了许多小卷积核，并引入了1×1卷积核，专门用来做特征降维。

VGG

3. Inception系列

Inception-v1的主要改进有二：一是将多个尺度的卷积核concatenate起来，形成了一个multi-scale的效果；二是采用了两个较浅层的辅助输出，防止因网络太深而带来的梯度消失问题。

Inception-v1

Inception-v2和Inception-v3是在同一篇文章中提出的，最主要的贡献就是提出了Batch Normalization. Batch Normalization可以防止中间层的结果滑向激活函数的饱和区，同时也可以将中间层的数值归一化，进一步防止梯度消失和梯度爆炸问题。

4. ResNet

形如h(x) = x + f(x)的形式（其中f(x)可能是若干层卷积网络），使得h(x)的至少具备h(x) = x的表达能力，从而使得深层网络不会劣于较浅的网络。ResNet极大地提升了网络的深度。

ResNet

5. DenseNet

与ResNet类似，DenseNet也是创建卷积层与卷积层之间的跳跃式连接，不同点主要有两点：一是DenseNet采用concatenate的方法而不是加法的方式集成来自不同卷积层的特征；二是DenseNet会在所有层两两之间构建直连，这也是DenseNet名字中”Dense”的含义。

DenseNet