ResNet学习笔记

最大亮点：采用残差连接解决梯度消失和网络退化问题

卷积神经网络依靠堆叠更深的层数能够有很大的性能提升，但是当深度超过一定范围后，会出现梯度消失的问题，网络的性能会迅速恶化。

残差连接结构：
设输入为X，原恒等变换输出为H(X)。当采用残差连接时，X经过堆叠的非线性转换层（可以堆叠多层）后，得到残差F(X)，然后将F(X）+X代替原H(X）作为输出。总体来说，残差层没有增加新的参数，不会导致计算量的增大。同时，依然能够采用反向传播的方法求梯度。注：F(X)与X的维度一致才能相加，故而提出两种方法增加维度（1）填充0增加维度（2）1*1Conv增加维度。