第二章 深度卷积模型：案例研究

目录

1 典型网络模型

2 残差网络

1 残差网络结构

2 残差网络原理​

3 网络中的网络和1×1卷积

4 Inception网络

5 数据增强

---

本章将会介绍几个典型的卷积神经网络模型来帮助我们加深对知识的了解。

1 典型网络模型

LeNet-5提出于1998年，它是第一个成功应用于数字识别问题的卷积神经网络。

上图展示了 LeNet-5模型的结构，其顺序一般是CONV layer->POOL layer->CONV layer->POOL layer->FC layer->FC layer->OUTPUT layer。这个模型包含了大约6万个参数。

 上图是AlexNet模型结构，类似于LeNet-5模型，其包含了大约六千万个参数。

这是VGG-16模型，它的卷积核尺寸为，步长为1，采用same padding，使用最大池化，尺寸为 ，池化步长为2 ，有多达一亿三千万个参数。

2 残差网络

1 残差网络结构

神经网络的层数越多，由于梯度爆炸和梯度消失，整个模型也就越难训练，现在有一种解决方法，类似于数据旁路技术，人为的让神经网络某些层跳过下一层的神经元链接，隔层相连，弱化相邻层之间的联系，这种神经网络就是残差网络。

残差网络由许多隔层相连的神经元模块，叫做残差块，单个残差块的结构如下所示：