论文地址: resnet 论文原文地址
文献翻译地址:https://blog.csdn.net/Quincuntial/article/details/77263562?locationNum=6
网络深度为何重要?
因为CNN能够提取low/mid/high-level的特征,网络的层数越多,意味着能够提取到不同level的特征越丰富。 并且,越深的网络提取的特征越抽象,越具有语义信息 。
众所周知网络深度约深模型的拟合程度越好,但是深层的网络意味着更多的参数,更大的计算量,对计算机硬件的要求更好,为了解决随着简单增加深度出现的梯度弥散和梯度爆炸,解决办法就是正则化初始化和中间的正则化层,可训练几十层的网络。但是研究发现随着网络深度的增加准确率会趋于饱和,并且快速下降,这就是退化问题,Resnet主要解决的问题是神经网络产生的退化问题。
退化
随着网络深度(网络的层数)的增加,开始网络的准确率是增加状态,当到达一定的层数以后,当网络开始收敛时准确率先缓慢饱和然后下降,这个下降过程就是退化,它并不是由于overfitting 引起的。