![b7f1b233a35bde363b07bce2d16d9395.png](https://i-blog.csdnimg.cn/blog_migrate/c14eab6a5ebeed16ce73c10d8b2e691a.jpeg)
提出动机
ResNet是为了解决深度神经网络中由于层数过多带来的模型退化问题(degradation)。
一般情况下,模型退化主要有以下几种原因:
- 过拟合,层数越多,参数越复杂,泛化能力弱
- 梯度消失/梯度爆炸,层数过多,梯度反向传播时由于链式求导连乘使得梯度过大或者过小,使得梯度出现消失/爆炸,对于这种情况,可以通过BN(batch normalization)可以解决
- 由深度网络带来的退化问题,一般情况下,网络层数越深越容易学到一些复杂特征,理论上模型效果越好,但是由于深层网络中含有大量非线性变化,每次变化相当于丢失了特征的一些原始信息,从而导致层数越深退化现象越严重。
如下图所示,56层的网络要比20层的网络效果差,出现退化现象。
![a08b4f99dcc5051748dbb9898f7f68d5.png](https://i-blog.csdnimg.cn/blog_migrate/b50f1805d17e2d8eaa028ee667d205b4.jpeg)
对于深层网络的退化现象,何凯明大神希望用一种方式,使得深层神经网络至少能和浅层神经网络相持平(深层不