残差神经网络_【模型篇】解决模型退化——深度残差网络ResNet

提出动机

ResNet是为了解决深度神经网络中由于层数过多带来的模型退化问题（degradation）。

一般情况下，模型退化主要有以下几种原因：

• 过拟合，层数越多，参数越复杂，泛化能力弱
• 梯度消失/梯度爆炸，层数过多，梯度反向传播时由于链式求导连乘使得梯度过大或者过小，使得梯度出现消失/爆炸，对于这种情况，可以通过BN(batch normalization)可以解决
• 由深度网络带来的退化问题，一般情况下，网络层数越深越容易学到一些复杂特征，理论上模型效果越好，但是由于深层网络中含有大量非线性变化，每次变化相当于丢失了特征的一些原始信息，从而导致层数越深退化现象越严重。

如下图所示，56层的网络要比20层的网络效果差，出现退化现象。

对于深层网络的退化现象，何凯明大神希望用一种方式，使得深层神经网络至少能和浅层神经网络相持平（深层不