参差网络能够通过增加相当的深度来提高准确率。核心是解决了增加深度带来的副作用(退化问题),这样能够通过单纯地增加网络深度,来提高网络性能。
退化问题:随着层数加深到一定程度之后,越深的网络反而效果更差。
参差指的是预测值和观测值之间的差异。
误差指的是观测值和真实值之间的差异。
参差学习模块直接把输入传到输出端。
其中ResNet提出了两种mapping:一种是identity mapping,指的就是图1中”弯弯的曲线”,另一种residual mapping,指的就是除了”弯弯的曲线“那部分,所以最后的输出是 y=F(x)+x
identity mapping顾名思义,就是指本身,也就是公式中的x,而residual mapping指的是“差”,也就是y−x,所以残差指的就是F(x) 部分。
具体详解参考链接: