深度学习-卷积实例

目录

卷积实例了解

LeNet-5

AlexNet：

VGG-16

ResNets：

谷歌Inception（GoogLeNet）：

---

卷积实例了解

深度卷积网络研究最多的就是如何将第一周所学的基本组件进行有效的组合，设计更加高效的神经网络结构。

 

经典网络结构：

LeNet-5

使用sigmoid和tanh激活函数。原始Le-Net使用average-pooling。大约6万个参数。

AlexNet：

和Le-Net相似，但要大很多，使用ReLu激活函数。大约6000万个参数。

VGG-16

16表示包含16个卷积层和全连接层。大约1.38亿个参数。

 

ResNets：

ResNet的思想是在一个普通的神经网络中，加入shortcut（也叫skip connection），也就是将当前层的值经过激活函数后，直接往后跳传几层，例如直接加入到下下一层的激活函数的输入。

 

谷歌Inception（GoogLeNet）：

Inception模块是将1x1、3x3、5x5、pooling组合在一起，让网络自己去学习应给使用什么样的卷积和pooling。

在3x3、5x5中，使用1x1作为中介可以减少计算量。这时1x1的卷积操作成为bottleneck layer。

GoogLeNet是将多个Inception模块连接在一起，并在其之间加入一些pooling操作，同时一些中间层（隐藏层）的节点会连接FC layer，之后接softmax等进行输出，这样中间层也参与特征学习，可以减轻过拟合问题