LeNet，AlexNet,Inceptionv1,2,3,4,vgg,resnet,DenseNet，网络图解对比

最新推荐文章于 2022-08-18 21:40:48 发布

weixin_43167121

最新推荐文章于 2022-08-18 21:40:48 发布

阅读量592

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/weixin_43167121/article/details/99622946

版权

深度学习专栏收录该内容

9 篇文章 0 订阅

订阅专栏

1.LeNet

在这里插入图片描述
1.卷积核较大2.网络很浅

2.AlexNet

在这里插入图片描述
特点：1.加入relu
2.加入dropout
3.用最大池化替代之前网络用的平均池化，避免模糊

3.VGG16

在这里插入图片描述
反复堆叠33的小型卷积核和22的最大池化层，

4.Inception网络 -googlenet

在这里插入图片描述

对上图做以下说明：

1 . 采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合；

2 . 之所以卷积核大小采用11、33和5*5，主要是为了方便对齐。设定卷积步长stride=1之后，

只要分别设定padding =0、1、2，采用same卷积可以得到相同维度的特征，然后这些特征直接拼接在一起；

3 . 文章说很多地方都表明pooling挺有效，所以Inception里面也嵌入了pooling。

4 . 网络越到后面特征越抽象，且每个特征涉及的感受野也更大，随着层数的增加，3x3和5x5卷积的比例也要增加。

Inception的作用：代替人工确定卷积层中的过滤器类型或者确定是否需要创建卷积层和池化层，即：不需要人为的

决定使用哪个过滤器，是否需要池化层等，由网络自行决定这些参数，可以给网络添加所有可能值，将输出连接

起来，网络自己学习它需要什么样的参数。

naive版本的Inception网络的缺陷：计算成本。使用5x5的卷积核仍然会带来巨大的计算量，约需要1.2亿次的计算量。

为减少计算成本，采用1x1卷积核来进行降维
inception-v1
在这里插入图片描述
Inception-v2
1.提出了Batch Normalization
2.就是稍微改进了一下Inception。把Inception-v1中55的卷积用2个33的卷积替换，

Inception-v3
1.卷积核分解，将nn的卷积核替换成 1n 和 n*1 的卷积核堆叠，计算量又会降低，可以多引入一层非线性。
在这里插入图片描述
Inception-v4
引入残差连接

5.Resnet

kaiming:若某一较深的网络多出另一较浅网络的若干层有能力学习到恒等映射,那么这一较深网络训练得到的模型性能一定不会弱于该浅层网络. 通俗的说就是如果对某一网络中增添一些可以学到恒等映射的层组成新的网路,那么最差的结果也是新网络中的这些层在训练后成为恒等映射而不会影响原网络的性能
在这里插入图片描述

6.DenseNet

DenseNet作为另一种拥有较深层数的卷积神经网络,具有如下优点:

(1) 相比ResNet拥有更少的参数数量.

(2) 旁路加强了特征的重用.

(3) 网络更易于训练,并具有一定的正则效果.

(4) 缓解了gradient vanishing和model degradation的问题.
在这里插入图片描述
DenseNet的主体框架（在每个Dense Block内部采用了密集连接，而在相邻的Dense Block之间采用的时Conv+Pool的方式）

创新点：

对比于ResNet的Residual Block，创新性地提出Dense Block，在每一个Dense Block中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。通过密集连接，缓解梯度消失问题，加强特征传播，鼓励特征复用，极大的减少了参数量。