B站李沐讲论文笔记Resnet

研一学生笔记，若有看官，笔下留情

作者 Kaiming He Xiangyu Zhang Shaoqing Ren（在蔚来居然） Jian Sun（导师）

Microsoft Research

摘要：

我们提出一个网络，他可以简化网络的训练，这些网咯整体上比以前深得多。我们显示的用带有与输入层的关系的残差机制重新制定这些层，而不是去学习没有关系的函数。我们提供了全面的经验证据来表明这些残差网络更容易被优化，并且，可以在很深的网络获得准确率。我们用很深的层数，比VGG要深8倍，但是依然有更低的复杂度。这些残差网络的集合在ImageNet网络上的获得了3.57的错误率。在2015分类任务上第一名，我们还在100-1000层上做了分析。

表征深度对很对视觉识别任务都至关重要，仅仅因为我们极端的表征深度，我们就在coco目标检测数据集上获得了28个百分点的提升。深度残差网络是我们提交给这些竞赛的基础，在这些竞赛中，我们在检测，定位，分割上获得了第一名。

论文试图解决什么问题：

解决深层神经网络即使收敛之后比对应的浅层网络正确率更差的问题。

resnet为什么能叠加到一千层，传递损失不大嘛？

首先，搞懂之前的网络为什么不深，如果很深会出现什么问题。随着网络的加深，会有梯度消失或者爆炸的问题，因为乘法的求导造成，之前一般用正则和归一化解决这个问题，解决之后面临新的问题就是衰退，深层网络的正确率反而劣于浅层网络，为了解决这个问题，作者提出了残差网络，学习残差。设下层输出为hx，上层输出为x，