经典的CNN模型

0 写在前面

参考资料:

  1. 网易云课堂吴恩达深度学习
  2. 《深度学习》花书
  3. 深度学习应用开发,浙江大学城市学院,网易云课堂

1 过时但仍有价值的CNN模型

1.1 LeNet-5

conv-pool-conv-pool-fc-fc-output
在这里插入图片描述
以sigmoid/tanh作为激活函数。

1.2 AlexNet

在这里插入图片描述
在这里插入图片描述
采用Relu作为激活函数。
开始使用GPU来训练。
LRN。

1.3 VGGNet/VGG-16

在这里插入图片描述

2 经典CNN模型

2.1 ResNet(Residual Network,残差网络)

在这里插入图片描述

2.1.1 捷径连接(shortcut connections)

在这里插入图片描述
在这里插入图片描述
捷径连接这种算法可以保证神经网络层数的增加,其训练难度只会小幅增加,而准确率只会只增不减,理由如下图所示,在激活函数为Relu的情况下,当新增的两层神经网络没学到东西时(即w,b=0),只不过是把 a [ l ] a^{[l]} a[l]赋值给 a [ l + 2 ] a^{[l+2]} a[l+2]
在这里插入图片描述
当维数不同时,在 a [ l ] a^{[l]} a[l]前乘一个矩阵就可以改变维度了,例如当池化之后需要改变维数。

2.2 Inception网络(GoogleNet)

2.2.1 Inception网络基本思想

Inception网络的最大好处是不需要人为的指定filter以及是否需要池化,而是由参数学习来的结果决定。基本思想如下图
在这里插入图片描述

2.2.2 使用1*1的filter减少计算成本

5 ∗ 5 5*5 55的filter卷积为例,大约共需要计算1.2亿次。
在这里插入图片描述
在中间利用 1 ∗ 1 1*1 11的filter卷积后,可以发现计算成本大约减少到了原来的十分之一。
在这里插入图片描述

2.2.3 最终的Incerption网络

在这里插入图片描述
在这里插入图片描述

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 技术工厂 设计师:CSDN官方博客 返回首页