Deep Residual Learning for Image Recognition (ResNet )
2015年
论文地址: https://arxiv.org/pdf/1512.03385.pdf
通常情况下:
- 神经网络层越深,特征的抽象程度越高,模型的表达能力越强,语义信息越丰富;
- 同时,网络越深,
退化问题
越难解决;
退化问题是网络加深的障碍
简单的增加深度,会导致 梯度弥散
或者 梯度爆炸
,可以通过标准初始化和中间层正则化(batchNorm)解决;但是随着继续增加深度,训练集准确率饱和,甚至下降(退化问题
,不属于过拟合)。
神经网络就像一个`Function