深度学习：残差网络（ResNet）

一：前言

随着卷积神经网络的发展和普及，我们了解到增加神经网络的层数可以提高模型的训练精度和泛化能力，但简单地增加网络的深度，可能会出现梯度弥散和梯度爆炸等问题。传统对应的解决方案则是权重的初始化(normalized initializatiton)和（batch normlization）批标准化，这样虽然解决了梯度的问题，但深度加深了，却带来了另外的问题，就是网络性能的退化问题。

二：什么是网络的退化问题？

由上图可以看出，56-layer层的网络比20-layer的网络在训练集和测试集上的表现都要差，这里不是过拟合（过拟合是在训练集上表现得好，而在测试集中表现得很差），说明如果只是简单的增加网络深度，可能会使神经网络模型退化，进而丢失网络前面获取的特征。

三：ResNet意义

从图中残差块的结构中可以看出，当输入为x时其学习到的特征记为H(x)，现在我们希望其可以学习到残差F(x)=H(x)-x，当残差为0时，此时残差快中仅仅做了恒等映射，至少模型可以保持原来的特征，使得网络不会因为层数加深而退化，从而拥有更好的性能。

注：其中ResNet 中的“+”指的是特征图对应元素的数值相加。

补充：

 如上图所示，残差网络中有实线跟虚线两种不同的shortcut connection，实线代表这些Block前后的维度一致，而虚线则代表这些Block前后的维度不一致，其中维度不一致体现在空间和通道两个方面。对于空间上维度不一致，只需在shortcut connection部分给输入的x加上一个线性映射以匹配维度，即：.而对于通道即深度上维度的不一致，原文给出了两种解决方案：⼀种是简单地将X相对Y缺失的通道直接zero-padding补零增加维度，另⼀种则是通过使⽤1x1的卷积来使得最终输⼊与输出的通道达到⼀致的⽅式。