Deep Residual Learning for Image Recognition原文链接:https://arxiv.org/pdf/1512.03385.pdf
残差网络(ResNet)是微软亚洲研究院的何恺明、孙剑等人2015年提出的,它解决了深层网络训练困难的问题。利用这样的结构我们很容易训练出上百层甚至上千层的网络。
要理解ResNet首先要理解网络变深后会带来什么样的问题。增大网络深度 后带来的第一个问题就是梯度消失、爆炸,这个问题在Szegedy提出BN(Batch Normalization)结构后被顺利解决,BN层能对各层的输出做归一化,这样梯度在反向层层传递后仍能保持大小稳定,不会出现过小或过大的情况。加了BN后再加大深度是不是就很容易收敛了呢?答案仍是否定的,作者提到了第二个问题--准确率下降问题(degradation problem):层级大到一定程度时准确率就会饱和,