卷积神经网络框架四：Res网络--v2：Identity Mappings in Deep Residual Networks

Identity Mappings in Deep Residual Networks

简述：
本文主要从建立深度残差网络的角度来分析深度残差网络，不仅在一个残差块内，而是放在整个网络中讨论。本文主要有以下三个工作：1是对Res-v1进行了补充说明，对residual block及其公式进行了进一步的补充说明，2是对shortcut connections做了进一步的改进，3是提出ReLU和BN层的位置对Res Net的影响并加以改进。

问题or相关工作：
ResNets的核心思想是学习关于h(x)的附加残差函数F，其关键是选择使用恒等映射h(x) = x。这是通过附加一个标识跳过连接(“shortcut”)来实现的。

图中的灰色部分表示的是shortcut,左图中a表示ResNet1中的原始（oraginal）图，b表示本文提出（propose）的优化图，propose相比于original的改进，为了构造一个f(y) = y的单位映射，我们将激活函数(ReLU和BN层)看作权重层（weight layer）的“预激活”，而不是传统的“后激活”。具体的优化建议如下：

模型：
1