深度学习之神经网络结构——残差网络ResNet

Deep Residual Learning for Image Recognition
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
arxiv, 2015

残差网络Residual Network自提出之日起就声名大振，成为大家在介绍深度学习近年上位史时不得不讲的网络结构。目前引用量已达1900。

阅读原文，会发现通篇出现次数非常多的一个词”degradation”，之前的深度学习模型深度加深到一定程度后如果继续加深会使得损失增加（准确率降低），下图表明了误差和模型深度之间的关系：

可以看到56层的模型无论是训练误差还是测试误差都比26层的要大。为什么会出现这种情况？假设现在有一个稍浅的性能比较好的网络，现在在它后面加上多层网络，并且我们假设添加的多层网络拟合的是恒等函数，那么新网络的性能应该和原网络一样好才对。可是实验证明新网络的准确率降低了，这说明额外的多层网络并不能很好地拟合恒等函数。总结成数学表达就是：假设现在我们想用多层网络拟合函数 H(x)=x