ResNet

残差网络是2015年由著名的Researcher Kaiming He(何凯明)提出的深度卷积网络，一经出世，便在ImageNet中斩获图像分类、检测、定位三项的冠军。 残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。核心是解决了增加深度带来的副作用（退化问题），这样能够通过单纯地增加网络深度，来提高网络性能。
ResNet = Residual Network

1.ResNet意义

随着网络的加深，出现了训练集准确率下降的现象，我们可以确定这不是由于Overfit过拟合造成的(过拟合的情况训练集应该准确率很高)；所以作者针对这个问题提出了一种全新的网络，叫深度残差网络，它允许网络尽可能的加深，其中引入了全新的结构如图1；

残差指的是什么
ResNet提出了两种mapping：一种是identity mapping，指的就是图1中”弯弯的曲线”，另一种residual mapping，指的就是除了”弯弯的曲线“那部分，所以最后的输出是 y=F(x)+x
identity mapping顾名思义，就是指本身，也就是公式中的x，而residual mapping指的是“差”，也就是y−x，所以残差指的就是F(x)部分。
为什么ResNet可以解决“随着网络加深，准确率不下降”的问题？
实验证明：

理论证明：
对于“随着网络加深，准确率下降”的问题，Resnet提供了两种选择方式，也就是identity mapping和residual mapping，如果网络已经到达最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络一直处于最优状态了，网络的性能也就不会随着深度增加而降低了。

2.ResNet结构

ResNet设计了一种残差模块以训练更深的网络。残差模块在输入和输出之间建立了一个直接连接，这样新增的层仅仅需要在原来输入层的基础上学习新的特征即可。
它使用了一种连接方式叫做“shortcut connection”，如图1所示。
“弯弯的弧线“这个就是所谓的”shortcut connection“，即identity mapping

这两种结构分别针对ResNet34（左图）和ResNet50/101/152（右图），一般称整个结构为一个”building block“。其中右图又称为”bottleneck design”，目的一目了然，就是为了降低参数的数目。

3.ResNet要解决的问题

深度学习网络的深度对最后的分类和识别的效果有着很大的影响，所以正常想法就是能把网络设计的越深越好，但网络越深，梯度消失的现象就越来越明显，网络的训练效果也不会很好。 但是现在浅层的网络（shallower network）又无法明显提升网络的识别效果了，所以现在要解决的问题就是怎样在加深网络的情况下又解决梯度消失的问题。

4.ResNet的解决方案

ResNet引入了残差网络结构（residual network），通过残差网络，可以把网络层弄的很深，最终的网络分类的效果也是非常好，残差网络的基本结构如图1所示。
通过在输出和输入之间引入一个shortcut connection,而不是简单的堆叠网络，这样可以解决网络由于很深出现梯度消失的问题，从而可以把网络做的很深 。