CNN相关要点介绍（二）——ResNet（残差网络）解析

    ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet，Alpha zero也使用了ResNet，所以可见ResNet确实很好用。
下面我们从实用的角度去看看ResNet。

1.ResNet意义

     随着网络的加深，出现了训练集准确率下降的现象，我们可以确定这不是由于Overfit过拟合造成的(过拟合的情况训练集应该准确率很高)；所以作者针对这个问题提出了一种全新的网络，叫深度残差网络，它允许网络尽可能的加深，其中引入了全新的结构如图1；

                                                                            图1 Shortcut Connection

这里问大家一个问题
残差指的是什么？
    其中ResNet提出了两种mapping：一种是identity mapping（身份映射），指的就是图1中”弯弯的曲线”，另一种是residual mapping（残差映射），指的就是除了”弯弯的曲线“那部分，所以最后的输出是 y=F(x)+x。identity mapping顾名思义，就是指本身，也就是公式中的x，而residual mapping指的是“差”，也就是y−x，所以残差指的就是F(x)部分。
为什么ResNet可以解决“随着网络加深，准确率不下降”的问题？
除了实验证明外：