cnn网络架构的演进简述

最近要准备cnn科普的ppt，本文对cnn的网络架构的演进进行简述，概述cnn发展历程与重要结点。

在cv领域，cnn的网络框架可谓是大红大紫。随着模型的迭代，网络越来越深，架构越来越复杂，解决反向传播时梯度消失的方法也越来越巧妙。

1.开山之作：LeNet 90年代

卷积神经网络的祖师爷Le神在1998年提出CNN的开山之作lenet，定义了基本组件：卷积、池化、全连接，俗称CPF三件套。最初的LeNet-5，包含两层卷积三层fc，用以识别手写体数字10分类。

2.第二春：AlexNet 2012 ImageNet冠军

AlexNet在这次比赛中夺冠，迎来cnn第二春。闪光点：ReLU（修正线性单元）、dropout、数据增广。AlexNet包含5层卷积和3层全连接，实现1000分类。有意思的是，在当时由于算力不足，作者将网络分上下两部分分别卷积，放在两块GPU上进行训练。这一操作倒是给了后来人的诸多启发，典型的如shuffle-net，借用该想法进行轻量级改进。

3.ZF-Net 2013 ImageNet

调整AlexNet的参数，包括卷积核大小、卷积步长、通道数。没啥亮点可言。

4.深度探索：VGG 2014 ImageNet

我们知道传统三件套CPF结果随着网络层数的加深，非线性与视野域都会增大，在一定程度上可以学习到更为复杂的特征。14年VGG在深度上进行探索，常用vgg16（13卷积+3全连接）/19（16+3）层，证明了增加网络的深度能够在一定程度上影响网络最终的性能。

闪光点：采用连续的3x3小卷积核来代替AlexNet中较大的卷积核（AlexNet采用了11x11，7x7与5x5大小的卷积核），保证相同视野域的前提下增加网络的非线性，从而能让网络来学习更复杂的模型，并且小卷积核的参数更少。

5.大浪推手：GooLeNet 2014

同年的googlenet不仅在深度上进行探索，还增加了网络的宽度，提出inception结构，用更小的参数量媲美vgg的效果。inception结构从v1到v4不断改进。

6.里程碑 Resnet

VGG网络试着探寻了一下深度学习网络的深度究竟可以深几许以能持续地提高分类准确率。我们的一般印象当中，深度学习愈是深（复杂，参数多）愈是有着更强的表达能力。凭着这一基本准则CNN分类网络自Alexnet的7层发展到了VGG的16乃至19层，后来更有了Googlenet的22层。可后来我们发现深度CNN网络达到一定深度后再一味地增加层数并不能带来进一步地分类性能提高，反而会招致网络收敛变得更慢，test dataset的分类准确率也变得更差。排除数据集过小带来的模型过拟合等问题后，我们发现过深的网络仍然还会使分类准确度下降。

从反向传播角度考虑，如上图所示，从输出层的梯度传播到前几层时几乎为0，导致浅层部分的网络权重参数得不到很好的训练，这就是为什么在Resnet出现之前，CNN网络都不超过二十几层的原因。

resnet常用34/50/101层，其backbone分为两种，一类是输入输出通道相通，另一类是不同，不同的话需要在短连接处添加1*1的卷机组调整通道数。

7.继往开来 DenseNet

继往开来，DenseNet更为极端，它的skip connection不仅仅只连接上下层，直接实现了跨层连接，每一层获得的梯度都是来自前面几层的梯度加成。类似于googlenet相比于VGG，densenet相比resnet不仅加深深度，也拓宽网络的宽度，添加类似Inception block结构，使得需要计算的参数量大大降低。

各结构复现代码随后push上。