神经网络结构的发展与变迁---LeNet\AlexNet\VGGNet\GoodleNet\ResNet\U-Net\DenseNet\FCN\Deeplab系列---上篇

神经网络结构的发展与变迁---LeNet\AlexNet\VGGNet\GoodleNet\ResNet\U-Net\DenseU-Net\FCN\Deeplab系列---上篇

1.LeNet是早期（1994年）的神经网络之一，用于手写数字识别，由卷积层，池化层，全连接层组成，网络结构如下图所示：

2..AlexNet是首个实用性很强的卷积神经网络由卷积操，池化层，全连接层，softmax层以及RELU、Dropout构成。首次提出在2012年的ILSVRC大规模视觉识别竞赛上。其网络结构如下图所示：

3.VGGNet出现在2014年ILSVRC上比赛上获得了分类项目的第二名和定位项目的第一名，VGGNet相对于AlexNet堆叠了更多基础模块导致网络深度达到近二十层，另外它将之前5*5，7*7的卷积核替换成3*3的小卷积核，用2*2池化代替3*3，去除了局部响应归一化

。在训练高级别的网络时，可以先训练低级别的网络，用前者获得的权重初始化高级别的网络，可以加速网络的收敛。网络参数如下表所示：

4. GoodleNet是2014年Christian Szegedy提出的一种全新的深度学习结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度（层数）来获得更好的训练效果，但层数的增加会带来很多负作用，比如overfit、梯度消失、梯度爆炸等。inception能更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果。inception结构的主要贡献有两个：一是使用1x1的卷积来进行升降维；二是在多个尺寸上同时进行卷积再聚合。GoodleNet网络结构图如下所示：