常用卷积神经网络架构：从LeNet-5到CSPNet

本文将系统地整理目前出现的一些经典的卷积神经网络架构，包括最早的LeNet-5网络结构，到最新的CSPNet（跨阶段局部网络），并对比其在ImageNet数据集上的分类效果。

LeNet-5

LeNet-5最早由Lecun在1998年提出（LeNet-5论文地址）,是最早的卷积神经网络结构。现在看来，LeNet-5的结构比较简单，由七层组成。

LeNet-5虽然简单，但是已经具备了卷积神经网络的基本结构卷积和池化操作，在手写数字识别数据集上取得了非常好的效果。

AlexNet

虽然LeNet-5是第一个成型的卷积神经网络结构，但是卷积神经网络被人们大量关注确是在2012年AlexNet（AlexNet论文地址）发表之后。AlexNet的基本结构和LeNet-5类似，但是采用了一些更加复杂的操作，比如讲Relu激活函数的广泛应用，以及加入dropout防止过拟合等。而且AlexNet也是首次用GPU训练卷积神经网络。AlexNet在ImageNet分类任务上取得了2012年的最佳成绩。

VGG

VGG（论文地址）也是非常经典的网络结构，现在也经常被使用。VGG是由牛津大学VGG组提出的一种网络结构，取得了2014年ImageNet挑战赛的第二名（第一名是GoogLeNet）。相比于AlexNet，VGG网络变得更深了，卷积层可以达到16层以上，而且卷积核均采用了小尺寸的3x3卷积。下面是VGG论文中给出的几种典型的网络参数配置：

GoogLenet

GoogLeNet是google的研究组提出的一系列方法，有v1到v4四个版本。这里我们只介绍第一版和最后一版。GoogLeNet-v1（论文地址）是2014年ImageNet挑战赛的冠军，它能够取得成功的关键在于提出了Inception的结构，网络是由若干Inception模块堆叠而成的

GoogLeNet-v4是将上述结构与残差结构相结合后形成的，如下：

ResNet

残差网络（论文地址）是一种非常牛逼的网路结构，直接将网络的层数加到了152层，取得了2015ImageNet挑战赛的冠军，而且使得CNN在此任务上的性能超过了人类判读。从此之后，ImageNet挑战赛的提升幅度就非常有限了。尽管取得了如此巨大的飞跃，但是ResNet的结构其实很简单，就是提出了残差的模块

只是在输出和输出之间加了一个直接的连接，非常的简洁。下面是论文中给出的几种常用的ResNet的结构。

DenseNet

继ResNet之后，DenseNet（论文地址）的提出就顺理成章了。在ResNet的基础上，很自然的可以想到，能不能通过多设置短路连接，提高网络的性能呢？针对这个问题，该文提出了Dense block的结构：

一言以蔽之，一个Dense block中每一层的输入都是前面基层输出的堆叠。DenseNet由若干个上述block组成：

不同的block之间使用 transition layers连接，作用是使用1x1的卷积层减少channel的数量。

CSPNet

CSPNet在DenseNet的基础上继续改进，将block的输入分为两部分一部分讲过dense block计算，另一部分直接连接到transition layer。