论文阅读之identity mapping

论文题目：《Identity Mappings in Deep Residual Networks》
论文地址：https://arxiv.org/abs/1603.05027
发表时间：2016 ECCV
开源代码：https://github.com/KaimingHe/ resnet-1k-layers

1. Abstract

分析了残差模块的传播方式，能过解释为什么使用恒等映射（identity mapping）作为跳跃连接和加和的激活项，能使得前向和反向的信号能直接在模块之间传播。并且通过一系列的消融实验来证明恒等映射的重要性。

2 Introduction

上图的残差模块的通式可写成：

• 其中$h(x)$是恒等映射， $h(x_l)=x_l$
• $F(x)$是残差方程
• $f(x)$是ReLU激活函数

ResNet 的central idea 是使用恒等映射$h(x_l)=x_l$，来学习一个关于$h(x_l$