解读Deep Residual Learning for Image recognition

VGG和GoogLeNet等一系列网络已经表明，深度网络会提高性能，但网络深度的加深会带来3个问题：1、后向传播梯度消失；2、前向传播信息量减少；3、训练时间长，也就是参数爆炸，更难训练。2015年ILSVRC和COCO竞赛第一名的何凯明所提出的残差网络就着重讨论解决了这个问题。

论文首先讨论了只是简单的卷积层堆叠时，网络深度达到一定程度后性能反而会下降，对比了一个20层和56层的网络。

ResNet学习的是残差函数F(x)=H(x)-x，即。如果F(x)=0, 则是一个恒等映射，没有引入额外的参数和计算复杂度。

 

假如优化目标函数是逼近一个恒等映射, 而不是0映射， 那么学习找到对恒等映射的扰动会比重新学习一个映射函数要容易。基本思想就是这样，然后对应的做了34层、50层、101层和152层的实验进一步分析，个人认为还是比较有意思的，能够解决深度加深带来的一系列问题，那么就有很多方法去改进我们现在所拥有的网络结构。