Identity Mappings in Deep Residual Networks

本文是微软团队对深度残差网络的改进

Code is available at: https://github.com/KaimingHe/resnet-1k-layers

原来深度残差网络的一个Residual Units如下图所示

本文分析深度残差网络主要关注于建立一个直接传播信息的通道，不仅在 residual unit 里面，对整个网络也是如此。我们发现如果是的 h(x)和f(x)都是 identity mappings，那么信息可以直接从一个单元传递到另一个单元，不论是前向还是后向传播。我们的实验结果显示，这么做使得训练更加的简单。

我们做了各种尝试，但是identity mappings 效果最好 ，大道至简吧

最后是在Large Scale Visual Recognition Challenge 2012 (ILSVRC2012) 的结果对比