深度残差网络（ResNet）浅析

深度残差网络是2015年提出的深度卷积网络，一经出世，便在ImageNet中斩获图像分类、检测、定位三项的冠军。
我们都知道增加网络的宽度和深度可以很好的提高网络的性能，深的网络一般都比浅的的网络效果好，比如说一个深的网络A和一个浅的网络B，那A的性能至少都能跟B一样，为什么呢？因为就算我们把A的网络参数全部迁移到B的前面几层，而B后面的层只是做一个等价的映射，就达到了A网络的一样的效果。一个比较好的例子就是VGG，该网络就是在AlexNex的基础上通过增加网络深度大幅度提高了网络性能。

但事实真的是这样的吗？不然，通过实验我们发现，当网络层数达到一定的数目以后，网络的性能就会饱和，再增加网络的性能就会开始退化，但是这种退化并不是由过拟合引起的，因为我们发现训练精度和测试精度都在下降，这说明当网络变得很深以后，深度网络就变得难以训练了。
ResNet的出现其实就是为了解决网络深度变深以后的性能退化问题。

ResNet就是用这种跳跃结构来作为网络的基本结构。为什么要使用这种结构呢？作者认为，本来我们要优化的目标是H(x)=F(x)+x（x就是该结构的输入）但是通过这种结构以后就把优化的目标由H(x)转化为H(x)-x。
那么问题又来了，优化目标转化后又有什么用呢，为什么可以通过这种方式来解决退化问题呢？我们之前说到，深网络在浅网络的基础上只要上面几层做一个等价映