深度学习：ResNet（残差网络）

ResNet在ILSVRC2015竞赛中惊艳亮相，一下子将网络深度提升到152层，将错误率降到了3.57，在图像识别错误率和网络深度方面，比往届比赛有了非常大的提升，ResNet毫无悬念地夺得了ILSVRC2015的第一名。如下图所示：

一说起“深度学习”，自然就联想到它非常显著的特点“深”，通过很深层次的网络实现准确率非常高的图像识别、语音识别等能力。因此，我们自然很容易就想到：深的网络一般会比浅的网络效果好，如果要进一步地提升模型的准确率，最直接的方法就是把网络设计得越深越好，这样模型的准确率也就会越来越准确。
但是通过实验可以发现：随着网络层级的不断增加，模型精度不断得到提升，而当网络层级增加到一定的数目以后，训练精度和测试精度迅速下降，这说明当网络变得很深以后，深度网络就变得更加难以训练了。
随着网络深度的加深，梯度消失&爆炸问题十分明显，网络甚至出现了退化。在论文中通过一个20层和一个56层的普通网络进行了对比，发现56层网络的性能远低于20层网络，如图1所示。

为什么随着网络层级越深，模型效果却变差了呢？
回想一下神经网络反向传播的原理，先通过正向传播计算出结果output，然后与样本比较得出误差值Etotal。