残差网络——Resnet的关键信息

Deep Residual Learning for Image Recognition

论文链接：https://arxiv.org/abs/1512.03385

残差块示意图：

优点：

1.引入残差后的映射对输出的变化更敏感；

2.在前向传播时，输入信号可以从任意低层直接传播到高层。它包含了一个天然的恒等映射，一定程度上可以解决网络退化问题。错误信号可以不经过任何中间权重矩阵变换直接传播到低层，一定程度上可以缓解梯度弥散问题（即便中间层矩阵权重很小，梯度基本上也不会消失）。

综上可以认为残差连接使得信息前后向传播更加顺畅。