深度残差网络

Deep Residual Learning for Image Recognition

He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

---

总结

随着网络深度加深，出现了训练误差增大的退化现象。用一些层来拟合H(x)的关系，本文用其等价的形式H(x)=F(x)+x，来拟合F(x)的方法，降低了solver优化的难度，从而在很大程度上解决了退化问题，通过跳过连接来实现残差学习。

在ImageNet的1000分类上实验，比较了18层和34层的普通和残差网络的训练误差，普通网络18层好，残差网络34层好，同时残差网络整体比普通网络好，说明对于能够找到解决方法的问题，残差也能加快学习速度。对比了线性映射和恒等映射，发现线性映射能够增加准确率，但不是退化问题的主要因素。为了更深和方便，构造了比原来的2层开销小的3层结构，得到了50层网络，然后又通过增加3层的残差块构造了101和152层网络，准确率越来越高。

在CIFAR-10上实验了20，32，44，56层网络，得到了和ImageNet一样的结论，证明了其通用性。另外训练了110层网络，效果更好。分析了各层的响应，残差网络的方差更小，证明了其更容易优化。尝试了超过1000层的网络，训练误差差不多，但是测试不好，可能是因为缺少正则化和dropout从而导致泛化差。包揽ILSVRC和COCO2015竞赛的ImageNet检测定位、COCO检测和分割的冠军。

---

摘要

越深的网络越难训练。作者提出了一种残差学习框架，让深的网络更容易训练。用学习残差函数来重新定义层。经验表明这种残差网络更容易优化，层数增加准确率也会提高。在ImageNet数据集中用152层的网络，虽然比VGG16层数多了8倍，但模型复杂度比VGG16低。使用集成模型在ImageNet上的错误率是3.57%，ILSVRC2015的冠军，也用100层和1000层的网络分析了CIFAR-10。

对于很多视觉模式任务来说，深度是核心重点。由于深度的增加，作者获得了COCO目标检测数据集28%的相对提升。深度残差网络也在ILSVRC和COCO2015竞赛的ImageNet检测定位、COCO检测和分割中获得了冠军。

引言

深度卷积神经网络能够整合各个层次的信息用来进行端到端的任务。网络深度很重要。

网络变深了之后一开始就会容易梯度爆炸/弥散，导致不能收敛，使用标准初始化和标准化层来解决。

深的网络可以收敛了以后，退化问题又出来了。退化是指随着网络加深，准确度饱和并降低。退化不是由过拟合引起的，层数越多训练误差越大。

退化问题显示了不是所有的系统都容易优化的。假设有一个网络，对应还有一个通过恒等映射来构造的加深网络，那么加深网络的训练误差不会比浅层的差。但是实验显示现有的优化器找不到和浅层网络一样好的解。

使用残差结构来解决退化问题。假设我们需要拟合的关系是$H(x)$，让$F(X)=H(x)-x$，原来的$H(x)=F(x)+x$。假设残差映射4F(x)$比原来的$H(x) 更容易学习。