残差网络ResNet解读(原创)

Deep Residual Learning for Image Recognition原文链接：https://arxiv.org/pdf/1512.03385.pdf

残差网络(ResNet)是微软亚洲研究院的何恺明、孙剑等人2015年提出的，它解决了深层网络训练困难的问题。利用这样的结构我们很容易训练出上百层甚至上千层的网络。

要理解ResNet首先要理解网络变深后会带来什么样的问题。增大网络深度 后带来的第一个问题就是梯度消失、爆炸，这个问题在Szegedy提出BN(Batch Normalization)结构后被顺利解决，BN层能对各层的输出做归一化，这样梯度在反向层层传递后仍能保持大小稳定，不会出现过小或过大的情况。加了BN后再加大深度是不是就很容易收敛了呢？答案仍是否定的，作者提到了第二个问题--准确率下降问题(degradation problem)：层级大到一定程度时准确率就会饱和，