Deep Residual Learning For Image Recognition

论文地址：  resnet 论文原文地址

文献翻译地址：https://blog.csdn.net/Quincuntial/article/details/77263562?locationNum=6

网络深度为何重要？

因为CNN能够提取low/mid/high-level的特征，网络的层数越多，意味着能够提取到不同level的特征越丰富。 并且，越深的网络提取的特征越抽象，越具有语义信息 。

众所周知网络深度约深模型的拟合程度越好，但是深层的网络意味着更多的参数，更大的计算量，对计算机硬件的要求更好，为了解决随着简单增加深度出现的梯度弥散和梯度爆炸，解决办法就是正则化初始化和中间的正则化层，可训练几十层的网络。但是研究发现随着网络深度的增加准确率会趋于饱和，并且快速下降，这就是退化问题，Resnet主要解决的问题是神经网络产生的退化问题。

退化

        随着网络深度（网络的层数）的增加，开始网络的准确率是增加状态，当到达一定的层数以后，当网络开始收敛时准确率先缓慢饱和然后下降，这个下降过程就是退化，它并不是由于overfitting 引起的。