卷积神经网络实例探究

1.有哪些有名的CNN实例

——classic networks

·LeNet-5（1980s）

·AlexNet

·VGG

——ResNet（Residual Network，残差网络，152层）

——Inception（谷歌，盗梦空间）

2.大神LeCun的LeNet-5

上个世界八十年代，LeCun搭建了针对灰度图像进行训练的LeNet-5，后来在论文LeCun et al.,1998. Gradient-based learning applied to document recognition中详细阐述，其大致架构如下所示：

其中大约有6万个参数。在那个年代，no padding，人们常用的是sigmoid和tanh函数，而如今ReLU是常用的非线性函数。

3.AlexNet

具体的架构和LeNet大致相似，但是更加庞大，大约有6千万个参数，如下图所示：

——使用了padding，即same filter。

——使用了ReLU激活函数

——两个GPUs之间相互协作

——使用LRN（局部响应归一层），即在激活值构成的立方体沿着通道的数值进行归一化操作。

4.VGG-16

这是一个没有那么多超级参数（不需要关注f，s，p等），只关注有规律地构建卷积层的深度CNN。大约有138M个参数，比AlexNet更大。

VGG网络的一大优点：结构很规整，共16个卷积层，卷积层过滤器的数量很有规律，从64翻倍至128至256至512。并且图片通过池化层缩小也有规律，每次缩小一半。使用了CONV为3*3的same的filter，s=1；使用了2*2的Maxpool，s=2。具体见下图：

5.残差网络（ResNets）

利用跳远连接搭建更深的网络结构（152层）。由何恺明、孙剑等人提出。

其基础结构为残差块（Residual block）。具体见下图：

main path下的深层网络理论上随着层数的增加，训练误差越来越小；但是实际情况是由于很难优化，导致误差增大。而使用ResNets则可以消除这一情况。

ResNets还有助于解决梯度消失和梯度爆炸的问题。

6.为什么残差网络有效？