经典神经网络结构案例分析

最新推荐文章于 2024-05-03 20:11:00 发布

金小虾

最新推荐文章于 2024-05-03 20:11:00 发布

阅读量1.2k

点赞数

分类专栏：模型文章标签：深度学习

本文链接：https://blog.csdn.net/jindaxiaoooo/article/details/107919401

版权

模型专栏收录该内容

10 篇文章 0 订阅

订阅专栏

经典神经网络结构案例分析

在这里插入图片描述

（1）LeNet-5（1998）

在这里插入图片描述

（2）AlexNet（2012）

在这里插入图片描述 注：在AlexNet提出的那个年代，还没有GPU,所以用的是CPU进行并行计算

2.1 几种AlexNet的几种形象表示：

![在这里插入图片描述](https://img-blog.csdnimg.cn/2020081018513327.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppbmRheGlhb29vbw==,size_16,color_FFFFFF,t_70图像增强

2.2 AlexNet的特点

在这里插入图片描述

（3）ZFNet（2013）

在AlexNet的基础上对超参数进行优化
在这里插入图片描述

（4）VGG （2014）

在这里插入图片描述
为什么要采用3层大小为3*3和步长为1的卷积呢？

两个33的卷积核1个55卷积的感受野一样，我们可以使用33的卷积，这样就会减少计算量、参数量、增加模型的深度、提高模型的非线性表达能力，百利无一害
**同理，因为3层大小为33和步长为1的卷积的感受野和1层7*7的卷积的感受野相同**
在这里插入图片描述 为什么说VGG是一个“臃肿”的模型？
因为参数多（特别是全连接），占用内存多

（5）GoogLeNet（2014）

当物体目标在图片中所占的大小不一样怎么办？GoogleNet是通过不同的卷积来提取不同的结果，称为多尺度并行卷积

在这里插入图片描述

5.1 原始的Inception模块：存在计算量大的问题，同时“作业本”的厚度增加，模型“臃肿”

在这里插入图片描述

5.2 改进方法：用1*1卷积核

在这里插入图片描述
改进后的GoogLeNet:
Global Average Pooling: 最后每张特征图的平均值，可以避免全连接层的使用
可以使用弱监督学习，本来的模型只知道图片的分类，但是利用Global Average pooling所得结果乘以种类权重，得到所得种类的位置，图中是狗的位置
在这里插入图片描述 辅助分类输出的作用：

5.3 Inception V2 用两个33的卷积代替一个55的卷积，用两个13和31的卷积代替一个3*3的卷积

在这里插入图片描述

（6）ResNet （2015）

6.1引入了残差模块（residual block）

在这里插入图片描述

6.2 不同的模型的性能比对

在这里插入图片描述

（7）模型集成（2016）

模型的集成真的很有用
在这里插入图片描述自适应学习每张特征图channel的权重，先global average pooling 压缩，再经过两层全连接层，学习权重，再和原来的特征图相乘。这个部分可以放在任何模型的后面
2017年，imageNet主办方认为没有必要再进行线下的比赛，就把比赛迁移到kaggle线上