概要
原文链接
Deep Residual Learning for Image Recognition
作者:Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Microsoft Research
内容概括
- 证明了模型退化问题:随着网络深度的增加,网络越来越难收敛,不是因为过拟合(56层网络训练集损失比20层的高,如图1)或梯度弥散和梯度爆炸问题(网络使用了BN),而是因为非线性激活函数的加入阻碍了线性变换的能力。
-------------------------------------------------------------------------------------------------------------------
2. 提出残差学习,让深度神经网络学习改变量。解释:设当前层张量为 X X X,理想的下一层的输出目标是 H ( x ) H(x) H(x),那么原来的卷积层应该学习 从 X 到 H ( X ) 从X到H(X) 从X到H(X)的变换函数,而残差卷积块学习的是 F ( X ) = H ( X ) − X F(X)=H(X)-X F(X)=H(X)−X,即残差。换句话说就是普通的神经网络层学习如何从当前层变换到一下层,而残差层学习该如何在当前层的基础上小修小补使其变为下一层。
-------------------------------------------------------------------------------------------------------------------
3. 恒等映射:假设当前层的张量为 X X X,经过一层神经网络,我们希望它的输出还是 X X X,这就称为恒等映射。设当前层对应的映射函数为 F ( X ) F(X) F(X),那么对于普通层应该做到对任意 X X