残差网络：《Deep Residual Learning for Image Recognition》

残差网络：《Deep Residual Learning for Image Recognition》

摘要：

网络结构深度的表达对视觉识别任务而言至关重要，论文提出了一种残差网络结构块，使得网络的准确度能够随着深度的加深而升高。网络结构深度的表达对视觉识别任务而言至关重要。

问题起源：

更深层的全卷积网络容易退化，并且出现梯度消失、梯度爆炸等问题。

解决方案：

作者提出了残差网络结构块

残差块通过对较浅层的输入进行映射，能够减小产生的训练误差，这种连接方式不会增加额外的参数以及复杂性。原网络学习的是输入到输出的映射H（x），残差网络学习的是F(x)=H（x）-x为输出减去输入。

y=F(X,{Wi})表示要学习的残差映射（residual mapping）

残差网络设计规则：

（1）为了输出相同的特征图大小，图层具有相同的滤波器数量；

（2）如果特征图的大小减半，滤波器的数量将增加一倍以保持网络复杂度。

当尺寸的增加如虚线块时我们考虑两个选项：

1：引入0 padding；
2：加入1*1卷积层进行尺寸的匹配。

两种残差块结构：

在构建更深的网络时，往往采用右边的结构，采用先升维再降维（第一层降维，第三层升维）的连接方式以减少训练的负担。