ResNet随堂笔记

目的：使用残差网络来简化更深的网络的训练。

成就： ILSVRC 检测和定位第一名；COCO 2015检测和分割第一名 

退化（训练的准确率下降）： 随着网络深度的增加，准确率达到饱和（不足为奇）然后迅速退化。这种退化 并不是由过拟合造成的 ，并且在一个合理的深度模型中增加更多的层却导致了 更高的错误率 ，理论上一个更深的模型应该比相同配置下的更浅的模型具体更高的精度 。

本文提出了一种深度残差学习框架来解决退化问题，本文表明了： 1) 这个极深的残差网络是很容易优化的，但是对应的普通的“plain”网络（仅是堆叠了层）在深度增加时却出现了更高的错误率。 2) 我们的深度残差网络能够轻易的由增加层来提高准确率，并且结果也大大优于以前的网络。

这个极深的模型在其他识别任务上同样也具有非常好的泛化性能，这让我们在ILSVRC & COCO 2015 竞赛的ImageNet检测、ImageNet定位、COCO检测以及COCO分割上均获得了第一名的成绩。这强有力的证明了残差学习法则的通用性，因此我们将把它应用到其他视觉甚至非视觉问题上。

如果恒等映射是最优的，那么求解器驱使多个非线性层的权重趋向于零来逼近恒等映射。

在每一个卷积层之后，激活层之前均使用batch normalization（BN）。使用的mini-batch的尺寸为256。学习率从0.1开始，每当错误率平稳时将学习率除以10，整个模型进行