ResNet详解

ResNet（残差网络）

残差网络与传统网络相比较，其加入了y=x层（恒等映射层），其主要作用是使得网络随着深度的增加而不退化，并且还具有着较好的收敛效果

残差网络的基本组成

其中： 表示的是残差， 表示的是映射输出（网络的输出）。所以可以得到网络的输出 ，由于其基本组成中间有两个隐层，所以可以得到网络的输出为： ，其中 只为了保证两个矩阵的维度相同而进行的线性变换。
本网络的灵感来源于VGG网络，但是与VGG网络相比较具有更少的滤波器，以及更低的复杂度，VGG网络的FLOP（每秒峰值的速度：floating-point operations second）为19.6 billion FLOP，普通34层网络为3.6 billion FLOP，本文所提出的34层残差网络为3.6 billion FLOP。
由下图可以看出，在普通网络（图2中间）的基础上，我们对其引入了快捷连接（shortcut connection），即将普通网络转换为残差网络。当输入与输出具有相同维度时（即之间用实线连接），可以直接使用快捷连接。当维度增加时（即之间用虚线连接），我们考虑两个方面，（1）直接执行恒等映射，并且使用零填充的方式来保持参数的不变；（2）用式 来进行计算，并且在卷积之后激活函数之前对其进行批量归一化处理。

左边是VGG-19网络，中间是由VGG衍生的普通的34网络，右边是本文所提到的ResNet-34网络。

参考文献

http://www.cs.princeton.edu/courses/archive/spring16/cos598F/msra-deepnet.pdf
《Deep Residual Learning for Image Recognition》