（ResNet）Deep Residual Learning for Image Recognition论文阅读笔记

（ResNet）Deep Residual Learning for Image Recognition论文阅读笔记2015

Abstract

更深的网络更难去训练。我们提出了一种残差学习框架来使得网络训练更容易训练，并可以训练更加深的网络。我们使得网络层根据层的输入学习残差函数，而不是学习未知函数。**我们提出了可理解的经验证据证明这些残差网络更容易优化，并且可以从适当增加深度来获得准确率提升。**在ImageNet数据集上，我们评估的残差网络最多到152层，比VGG网络要深8倍，但是有着更低的复杂性。集合这些残差模型，在ImageNet测试集我们取得了3.57%的错误率。这个结果赢得了ILSVRC2015分类任务，我们同样在CIFAR-10上使用100和1000层网络进行分析。

对于许多视觉任务中，特征表示representation的深度至关重要。只使用我们的深度表示，我们就取得了相对28%的提升，在COCO目标检测数据集上。深度残差网络是我们对ILSVRC以及CPCP2015的提交网络的基础，我们在ImageNet检测以及定位，COCO的检测和分割上都获得了第一名。

1.Introduction

深度CNN为图像分类领域打来了一系列的突破。深度网络自然地整合了低中高等级的特征，然后使用端对端多层方式进行分类，而特征的“等级”可以通过堆叠更多的层来丰富。最近的证据表明，网络深度十分关键，ImageNet数据集上的挑战赛领先者使用的都是很深的模型，层数16-30。一些其他的不普通的视觉识别任务同样受益于深层模型。

随着深度越来越重要，也出现了一个问题：简单地不断堆叠更多的层就可以使网络学习的更好吗？回答这个问题的障碍就是著名的梯度消失和爆炸问题，会阻止模型收敛。然而这个问题通过归一化初始化以及中间的归一化层被很好的处理了，可以使得有着十多层的网络使用反向传播的SGD收敛。

当更深层的网络开始收敛，一个退化问题就出现了：随着网络深度增加，准确率慢慢饱和，然后迅速下降。然而这种退化不是由于过拟合引起的，对一个正合适的深层模型增加更多层会导致更高的训练错误，图1展示出一个例子。

训练准确率的退化表明，不是所有的系统都一样容易优化。**让我们考虑一个更浅层的结构以及对它增加更多层的counterpart。通过构建更深层的模型，可以找到一种解决方案：添加的层使identity mapping，其他的层是从学习到的浅层模型中复制得到的。**这种构建方法的存在表明，更深层的万国应该比浅层的counterpart不产生更高的训练错误。但是实验表明，我们目前的求解器不能找到与这个构建方法相当或更好的解决方法了。

本文中，我们通过引入一种深度残差学习框架来解决退化问题。**与希望每个堆叠的层直接满足一个期望映射不同，我们直接让这些层满足残差映射。**也就是说，将希望得到的映射为H(x)，我们使得堆叠的非线性层满足另一个映射$F(x)=H(x)-x$，原来的期望映射就是$F(x)+x$。我们假设相比于优化原来的映射，优化残差映射更加容易。极端情况下，如果x已经是最佳的了，那么使得残差趋向0，比通过堆叠网络来趋近期望映射容易得多。

公式$F(x)+x$可以通过带有快捷恒等映射的神经网络实现，如图2所示。快捷恒等映射可以跳过一个或者多个层，在我们的实验中，**快捷恒等映射直接表现identity mapping，它们的输出被增加到堆叠层的输出，既不增加额外参数，也不增加计算复杂度。**整个网络仍然可以使用端对端的SGD通过反向传播计算，可以在不修改求解器情况下应用到现有的计算框架中。

我们在ImageNet上进行了实验来展示退化问题并且评估我们的方法。我们展示出：

• 我们非常深的残差网络很容易优化，但是相比较的plain网络（仅仅是堆叠层）当深度增加，展现出更高的训练错误。
• 我们的深度残差网络更容易获得来自深度提升带来的准确率提升，差生了比之前网络都要好的结果。

在CIFAR-10数据集上出现了相似的现象，表明优化的困难以及我们方法的有效不只是对特定的网络出现。在这个数据集上，我们训练了超过100层的网络，之后扩展到1000多层。

在ImageNet分类数据集上，我们取得了接触的效果。我们的152层残差网络是在ImageNet上提交的最