【Deep Learning】三种经典的网络结构

最新推荐文章于 2023-04-02 11:21:47 发布

pangpd

最新推荐文章于 2023-04-02 11:21:47 发布

阅读量1.9k

点赞数 3

分类专栏：深度学习

本文链接：https://blog.csdn.net/weixin_43519707/article/details/105212531

版权

深度学习专栏收录该内容

16 篇文章 3 订阅

订阅专栏

LeNet-5

LeNet-5出自论文**《Gradient-Based Learning Applied to Document Recognition》（1998年），是一种用于手写体字符识别的非常高效的卷积神经网络。Lenet-5是Yann LeCun提出。由于LeNet-5是针对识别手写体识别所提出的网络，所以输入的大小为32 x 32 x 1**的灰度图像

LeNet-5共有7层（不包含输入层），不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个Feature Map通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。该模型的只有大约6万参数，值得注意的是，随着网络的层次的加深，图像的高度和宽度在缩小，随最初的32x32缩小到28x28，再到14x14,10x10,5x5。与此同时，随着网络层次的加深，通道数一直在增加，从1个增加到6个，再到16个。该网络模型中一个或者多个卷积层后面跟着一个池化层，这种方式至今一直在沿用。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7ShKyBFQ-1585584339581)(D:\UseTools\Typora\Images\image-20200328210751569.png)]$

AlexNet

该模型出自论文**《ImageNet Classification with Deep ConvolutionalNeural Networks》，AlexNet（以第一作者名字命名）是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky**设计的，也就是文章《ImageNet Classification with Deep Convolutional Neural Networks》介绍的网络结构。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg，GoogLeNet（Inception模块）。

论文中的作业使用224 x 224 x 3 作为模型的输入，不过在吴恩达对该模型讲解时，谈到使用了227 x 227 x 3 作为输入更为合理。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ty2i1Bf0-1585584339586)(D:\UseTools\Typora\Images\image-20200328213238436.png)]$

下图也是AlexNet模型，来自文献《Going Deeper with Contextual CNN for Hyperspectral Image Classification》

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-idAmBEcL-1585584339594)(D:\UseTools\Typora\Images\image-20200328221932180.png)]$

AlexNet中包含了几个比较新的技术点，也首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。同时AlexNet也使用了GPU进行运算加速。实际上，改模型与LeNet-5有很多相似之处，不过AlexNet要大很多，LeNet-5模型的只有大约6万参数，而AlexNet模型包含约6000万参数，因此AlexNet比LeNet-5更有优势。

AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下：

（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。

（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是AlexNet将其实用化，通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。

（3）在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化，AlexNet全部使用最大池化，避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小，这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。

（4）提出了LRN层（局部相应归一化层），对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。不过后来有研究者表明LRN效果不大。

（5）使用CUDA加速深度卷积网络的训练**，利用GPU强大的并行计算能力，处理神经网络训练时大量的矩阵运算。AlexNet使用了两块GTX 580 GPU进行训练，单个GTX 580只有3GB显存，这限制了可训练的网络的最大规模。因此作者将AlexNet分布在两个GPU上，在每个GPU的显存中储存一半的神经元的参数。因为GPU之间通信方便，可以互相访问显存，而不需要通过主机内存，所以同时使用多块GPU也是非常高效的。同时，AlexNet的设计让GPU之间的通信只在网络的某些层进行，控制了通信的性能损耗。

（6）数据增强，随机地从256 x 256的原始图像中截取224 x 224大小的区域（以及水平翻转的镜像），相当于增加了2*(256-224)^2=2048倍的数据量。如果没有数据增强，仅靠原始的数据量，参数众多的CNN会陷入过拟合中，使用了数据增强后可以大大减轻过拟合，提升泛化能力。进行预测时，则是取图片的四个角加中间共5个位置，并进行左右翻转，一共获得10张图片，对他们进行预测并对10次结果求均值。同时，AlexNet论文中提到了会对图像的RGB数据进行PCA处理，并对主成分做一个标准差为0.1的高斯扰动，增加一些噪声，这个Trick可以让错误率再下降1%。

VGGNet

VGG，也叫VGG-16网络（数字16表示该网络包含了16层）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-i4WzPQwL-1585584339597)(D:\UseTools\Typora\Images\image-20200328223556600.png)]$

以下图像来自https://blog.csdn.net/Fanniexia/article/details/88627827

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yUqEtgqa-1585584339602)(D:\UseTools\Typora\Images\image-20200328225041174.png)]$

该模型出自论文**《Very Deep Convolutional Networks for Large-Scale Image Recognition》**，VGG模型是2014年ILSVRC竞赛的第二名，第一名是GoogLeNet。但是VGG模型在多个迁移学习任务中的表现要优于GoogLeNet。而且，从图像中提取CNN特征，VGG模型是首选算法。它的缺点在于，参数量有140M之多，包含了约1.38亿参数，需要更大的存储空间。

VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷积核代替AlexNet中的较大卷积核（11x11，7x7，5x5）。对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。

简单来说，在VGG中，使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。

比如，3个步长为1的3x3卷积核的一层层叠加作用可看成一个大小为7的感受野（其实就表示3个3x3连续卷积相当于一个7x7卷积），其参数总量为 3x(9xC^2) ，如果直接使用7x7卷积核，其参数总量为 49xC^2 ，这里 C 指的是输入和输出的通道数。很明显，27xC^2 小于49xC^2，即减少了参数；而且3x3卷积核有利于更好地保持图像性质。

需要注意的是，在VGGNet的6组实验中，后面的4个网络均使用了pre-trained model A的某些层来做参数初始化。虽然提出者没有提该方法带来的性能增益。先来看看VGG的特点：

虽然参数比较大，但是网络较为规整，不是很复杂
几个卷积层后会跟池化层，使用的卷积核数（输出通道数）依次增加，从64，128，256，512
随着网络的加深，图像的高度和宽度都在以一定的规律缩小，每次池化后刚好缩小一半，而输出通道数不断增加，每次都是上一层的2倍；
小卷积核。作者将卷积核全部替换为3x3（极少用了1x1）；使用1*1卷积核的原因：在不改变感受野前提下可以增加网络非线性，改变特征维度
小池化核。相比AlexNet的3x3的池化核，VGG全部为2x2的池化核；
层数更深特征图更宽。基于前两点外，由于卷积核专注于扩大通道数、池化专注于缩小宽和高，使得模型架构上更深更宽的同时，计算量的增加放缓；
全连接转卷积。网络测试阶段将训练阶段的三个全连接替换为三个卷积，测试重用训练时的参数，使得测试得到的全卷积网络因为没有全连接的限制，因而可以接收任意宽或高为的输入。

参考链接

https://mooc.study.163.com/learn/2001281004?tid=2403023001#/learn/content?type=detail&id=2403362412（吴恩达-三个模型的讲解）

LeNet-5

https://www.researchgate.net/publication/2985446_Gradient-Based_Learning_Applied_to_Document_Recognition（原文地址）

https://blog.csdn.net/ljfwz153076024/article/details/94356572

https://cuijiahua.com/blog/2018/01/dl_3.html

AlexNet

https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf？spm=a2c4e.11153940.blogcont602853.9.73ee6970OjD56J&file=4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf（原文地址）

https://baike.baidu.com/item/AlexNet/22689612?fr=aladdin（百度百科）

VGGNet

https://arxiv.org/abs/1409.1556（论文原文地址）

https://zhuanlan.zhihu.com/p/41423739GGNet

https://arxiv.org/abs/1409.1556（论文原文地址）

https://zhuanlan.zhihu.com/p/41423739

https://blog.csdn.net/Fanniexia/article/details/88627827

pangpd

关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
【Deep Learning】三种经典的网络结构

LeNet-5 LeNet-5出自论文**《Gradient-Based Learning Applied to Document Recognition》（1998年），是一种用于手写体字符识别的非常高效的卷积神经网络。Lenet-5是Yann LeCun提出。由于LeNet-5是针对识别手写体识别所提出的网络，所以输入的大小为32 x 32 x 1**的灰度图像 LeNet-5共有...
复制链接

扫一扫

专栏目录