残差网络之ResNet简谈

微软亚洲研究院 Kaiming He 博士在 2015 年凭借深度残差网络 Deep Residual Network (DRN) 在 Imagenet 比赛的识别、检测和定位三个任务、以及 COCO 比赛的检测和分割任务上都获得了冠军。论文《Deep Residual Learning for Image Recognition》获得 2016 CVPR best paper，ResNet因此声名大噪，很大程度上引发了 deep network 的革命。

问题引入：
一般认为，随着网络层数的增加，越深的网络提取的特征越抽象，越具有语义信息。所以更深的网络会获得更好的检测结果。但是，事实并非如此，随着网络层的增加，深层网络在训练时梯度下降非常微弱，几乎停滞不前。另外若梯度停滞不前，相当于对前层网络的简单重现，然而，重现结果却差强人意，反而出现更差的结果。
这说明 B网络在学习恒等映射的时候出了问题，也就是传统网络 (plain networks) 很难去学习恒等映射，这就是所谓的退化 (degradation) 现象。

核心思想

在上图的残差网络结构图中，通过“shortcut connections (捷径连接)”的方式，直接把输入x传到输出作为初始结果，输出结果为 H(x) = F(x) + x，当 F(x) = 0 时，那么 H(x) = x，也就是上面所提到的恒等映射。于是，ResNet相当于将学习目标改变了，不再是学习一个完整的输出，而是目标值H(X)和x的差值，即所谓的残差F(x) = H(x) - x，因此，后面的训练目标就是要将残差结果逼近于 0，使得随着网络加深，准确率不下降。

小改进
为了减小计算量，将上图残差网络进一步改进，具体参数数目的减少可看下图：

RestNet完整网络
作者由 VGG19 设计出了 plain network 和 Resnet-34，如下图中部和右侧网络。