【论文详解】ResNet(2015)

1 论文信息

题目：Deep Residual Learning for Image Recognition
代码：
TF复现
PyTorch复现

2 简介

ResNet 是微软研究院何恺明等人的力作，取得了ILSVRC2015的冠军，是CVPR2016的best paper。

其主要创新在于引入了残差模块，使CNN变得更深成为可能。其由四种深度：34,50,101,152.

3 创新点

3.1 残差映射

如下图所示，CNN继续堆叠更深的层，训练与测试误差反而增大了，出现了退化现象。本文指出这一现象不是过拟合造成，这是一种优化问题。

本文提出使用网络层学习残差映射而非传统的期望映射，如下图所示。残差块的引入去掉了主题部分，突出了微小的变化。

3.2 网络设计

如下图所示，ResNet有四种深度：34,50,101,152。
基准网络基于VGGNet-19，采用3x3卷积，网络层为34。残差网络则是在基准网络的基础上增加了残差模块。

4 实验结果

如下图所示，网络层越多，误差越小，但复杂度也随之上升。