ResNet 残差网络

背景

论文的发表都是有目的的， 或阐述现象， 或针对问题提出解决方案。
ResNet的提出是为了解决衰减问题(The degradation problem). 衰减是指分类精度的衰减：ResNet论文的主要想解决的问题是利用DCN（Deep Convolution Network）完成图像分类时，当DCN到达一定深度后， 其分类精度不升反降。
更深的网络， 理论上来说， 其拟合能力会更强。 但之前实际实验发现结果并非如此。之后论文里对这个现象出现的原因作了一个猜想性的解释： 普通的CNN（Plain CNN）结构很难拟合出Identity Mapping函数。 什么是Identity Mapping函数呢， 就是$f(x)=x$。那为什么要拟合Identity Mapping呢？ 假如浅层的CNN已经足够， 如果之后叠加的CNN层只要能拟合出Identity Mapping的功能， 那么， 更深的网络就不会出现衰减问题。

残差模块

残差网络的基本组成单位是残差模块。
一个残差模块接收输入的feature map之后， 将其映射到一个隐藏的特征空间：
$$y_l=h(x_l)+F(x_l,W_l)$$
$y_l$经过特定变换后作为下一个残差模块的输入：
$$x_{l+1}=f(x_l)$$
→ x l + 1 = h ( x l ) + F ( f ( x l ) , W