论文题目:《Identity Mappings in Deep Residual Networks》
论文地址:https://arxiv.org/abs/1603.05027
发表时间:2016 ECCV
开源代码:https://github.com/KaimingHe/ resnet-1k-layers
1. Abstract
分析了残差模块的传播方式,能过解释为什么使用恒等映射(identity mapping)作为跳跃连接和加和的激活项,能使得前向和反向的信号能直接在模块之间传播。并且通过一系列的消融实验来证明恒等映射的重要性。
2 Introduction
上图的残差模块的通式可写成:
- 其中 h ( x ) h(x) h(x)是恒等映射, h ( x l ) = x l h(x_l)=x_l h(xl)=xl
- F ( x ) F(x) F(x)是残差方程
- f ( x ) f(x) f(x)是ReLU激活函数
ResNet 的central idea 是使用恒等映射 h ( x l ) = x l h(x_l)=x_l h(xl)=xl,来学习一个关于 h ( x l ) h(x_l) h(x