《Deep Residual Learning for Image Recognition》残差网络 -- 解析笔记

概要

原文链接

Deep Residual Learning for Image Recognition
作者：Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, Microsoft Research

内容概括

1. 证明了模型退化问题：随着网络深度的增加，网络越来越难收敛，不是因为过拟合（56层网络训练集损失比20层的高，如图1）或梯度弥散和梯度爆炸问题（网络使用了BN），而是因为非线性激活函数的加入阻碍了线性变换的能力。

-------------------------------------------------------------------------------------------------------------------
2. 提出残差学习，让深度神经网络学习改变量。解释：设当前层张量为$X$，理想的下一层的输出目标是$H(x)$，那么原来的卷积层应该学习$从X到H(X)$的变换函数，而残差卷积块学习的是$F(X)=H(X)-X$,即残差。换句话说就是普通的神经网络层学习如何从当前层变换到一下层，而残差层学习该如何在当前层的基础上小修小补使其变为下一层。

-------------------------------------------------------------------------------------------------------------------
3. 恒等映射：假设当前层的张量为$X$,经过一层神经网络，我们希望它的输出还是$X$，这就称为恒等映射。设当前层对应的映射函数为 F ( X