残差网络（ResNet）解决梯度消失问题

一、 引言

​ 残差网络（ResNet）是何凯明在2015年提出的。可以说该网络模型的提出是CNN图像史上的里程碑事件。它解决了当时传统CNN网络发展所遇到的瓶颈——网络深度问题。当时，人们普遍认为网络的深度越深，网络的效果会越好。但是随着人们的研究发现，更深的网络居然会使得网络效果变差，这也就是网络的退化，而梯度消失则是导致网络退化的一个重要因素。何凯明提出的ResNet正是解决了问题，将14年VGG的19层网络提高到了ResNet惊人的152层，并且获得了更好的网络效果。

二、梯度消失：

​ 当一个深层网络的激活函数全部采用sigmod函数时，会导致梯度消失的出现。可以从数学角度计算一下为什么会出现梯度消失（非严格证明）。

​ 假设一个最简单的网络，如图。

​ 其中，$X_i$，$X_{i+1}$