深度学习之经典神经网络框架详解（四）：ResNet-v1残差神经网络

Deep Residual Learning for Image Recognition

resnet18代码可参考：ResNet18实现CIFAR10

简述：

残差神经网络在2015年ILSVRC比赛中获得冠军，且多个方面获得了第一名。随着网络深度的增加，梯度在反向传播过程中会逐渐消失，导致无法对前面的网络层的权重进行有效的调整，致使准确率逐渐饱和然后迅速下降。本文提出了一个残差学习框架来简化网络训练，实验表明该网络更易优化，且大幅增加深度的同时获得高的精度。

问题or相关工作：

如上图，随着网络模型的深度加深，会使学习能力增强，但训练精度却下降，原因在于优化难题，当模型变复杂时，SGD的优化变得更加困难，导致了模型达不到好的学习效果。即所谓的退化问题（degradation problem），为解决此问题，本文提出了深度残差网络ResNet。

如果发现下层的误差变大，那么接下来的学习目标就转变为恒等映射（identity mapping）的学习，而假设某段神经网络输入为x，若期望输出H（x）是期望的复杂（多个非线性层&#x