ResNet

Deep Residual Learning for Image Recognition

论文：[1512.03385] Deep Residual Learning for Image Recognition (arxiv.org)

代码：项目概览 - deep-residual-networks - GitCode

摘要

本文提出了一个残差学习框架，评估了152层的该网络，深度是VGG网络的8倍，却有更低的负责度，并且在ImageNet测试集上达到了3.57%的误差，在啥啥2015年取得第一名。

引言

深度神经网络在图像分类方面，更深的网络能达到更好的效果，但是随着网络层数的增加会出现梯度消失/爆炸。同时随着网络层数增加，准确度会达到饱和，然后迅速下降，并且不是由于过度拟合引起。

然后由于以前的深度神经网络会导致这个问题，所以本文通过引入深度残差学习框架来解决退化问题。让堆叠的非线性层拟合另一个映射

该公式可以通过带有捷径连接（指跳过一层或是多层的连接）的馈电神经网络实现。

本文在ImageNet上来说明退化问题，并评估本文采用的方法，研究表明：

1. 本文采用的极深残差网络很容易优化；
2. 本深度残差网络很容易从深度的大幅增加中获取准确性的提升，其结果是远远优于之前的网络。

相关工作

残差表示法

捷径连接

Deep Residual Learing

Residual Learing

输入的x可以是其他层学习后的输出，假设x经过前面层的学习已经学到了准确的特征，而再经过后面几层的学习使得已经学到的特征出现了偏差，所以本文为了解决该问题提出了上述模型，把原来浅层学到的特征与经过多层学习的特征都保留下来。

在后面那几个层学习H(x)-x,学习以前没有学到的东西，最后再把以前学到的和现在学到的加一起

身份映射捷径

网络架构

普通网络

主要是受到VGG网络的启发，卷积层大多采用3*3过滤器，并遵循两条简单的设计规则：

1. 在输出特征图大小相同的情况下，各层的过滤器数量相同；
2. 如果特征图大小减半，则过滤器数量加倍，以保持每层的时间复杂度。

本文是直接通过步长为2的卷积层进行下采样，网络的末端是全局平均池化层和1000路带softmax的全连接层。

实验

ImageNet分类

Plain Networks

34层普通网络比18层普通网络产生了更大的误差

Residual Networks

根据表2和图4得到三个结论：

1. 34层ResNet比18层表现出更低的训练误差，在此退化问题得到了很好的解决。
2. 34层ResNet比PlainNet误差率更低，说明该网络是有效的。
3. 根据图4，18层ResNet比PlainNet收敛速度要快，说明ResNet早期收敛更快。

身份与投影快捷方式

啥A B C看不懂

这个图就是展示了一下普通网络与ResNet其误差率的对比，着重强调的是ResNet采用B方式后误差率更低。

更深层次的瓶颈架构

就是用右边代替左边，具有相似的时间复杂度。

更深层次网络

50层：选择B从34层增加

152层ResNet任然比VGG-16/19复杂度低

从上面表3，表4看出：本网络随着深度的增加精度也增加，并没有普通网络随着网络深度增加而退化的问题。

与最先进的方法进行比较

本网络不管是34层还是152层验证误差都较低。

CIFAR-10 and Analysis

前面解释一大堆，不知道讲啥

这个好像是说本网络比其他网络好，展示了各网络在这个数据集上运行5次得出的误差率。

• 左边：展示普通网络，网络深度达到一定后，随着层数增加，误差率反而增加，不论是训练误差还是验证误差。
• 中间：是ResNet网络，当网络层数在一定范围内（比普通网络层数更深或相当时），随着网络层数增加，其训练误差和验证误差都降低，（并且同层数该网络比普通网络误差要低。）
• 右边：当ResNet网络并不是层数越多越好，图中展示的当层数达到1202层时反而没有110层时的误差低。

层响应分析

不懂，什么玩意

探索超过1000层

从图6，表6，可以看出1202层的该网络还是拥有较低的误差率（比普通网络好），但是其中存在一个问题，该网络1202层没有110层好，所以该网络也不是层数越多效果越好。本文认为是过度拟合导致的，却没有进行验证。

PASCAL和MS COCO上的目标检测

显示本网络效果在上表中数据集中表现良好。