Identity Mappings in Deep Residual Networks
简述:
本文主要从建立深度残差网络的角度来分析深度残差网络,不仅在一个残差块内,而是放在整个网络中讨论。本文主要有以下三个工作:1是对Res-v1进行了补充说明,对residual block及其公式进行了进一步的补充说明,2是对shortcut connections做了进一步的改进,3是提出ReLU和BN层的位置对Res Net的影响并加以改进。
问题or相关工作:
ResNets的核心思想是学习关于h(x)的附加残差函数F,其关键是选择使用恒等映射h(x) = x。这是通过附加一个标识跳过连接(“shortcut”)来实现的。
图中的灰色部分表示的是shortcut,左图中a表示ResNet1中的原始(oraginal)图,b表示本文提出(propose)的优化图,propose相比于original的改进,为了构造一个f(y) = y的单位映射,我们将激活函数(ReLU和BN层)看作权重层(weight layer)的“预激活”,而不是传统的“后激活”。具体的优化建议如下:
模型:
1.shortcut connections的改进