CV基石-ResNet论文研读

1、Highway Network --- 首个成功训练成百“上千层”（100层及900层）的卷积神经网络

特点：借鉴LSTM，引入门控单元，将传统前向传播增加一条计算路径，变成公式（3）形式

          增加了额外训练参数W_T

2、深层网络退化问题

越深的网络拟合能力越强，但在增加网络层数的过程中，当达到一定层数时，继续增加层数，训练误差变大的现象 ​

可以看出，34层ResNet比18层ResNet好2.8%。更重要的是，34层ResNet显示出相当低的训练误差，并可推广到验证数据。这表明，在这种情况下，退化问题得到了很好的解决，我们设法通过增加深度获得了精度增益，并且ResNet更深但参数少。

3、残差结构-Architecture of residual learning

目标：实现恒等映射（identity mapping），即F(x) = 0    ∂H/∂x=∂F/∂x + ∂x/∂x = ∂F/∂x+1

Shortcut mapping 策略：

A-全零填充：维度增加的部分采用零来填充

B-网络层映射：当维度发生变化时，才通过网络层映射（1*1卷积）特征图至相同维度

C-所有shortcut均通过网络层映射（ 1*1卷积）

有利于梯度反向传播，使得深层网络扩展成为可能

4、ResNet结构

 

划分为6个stage   1. 头部迅速降低分辨率    2. 4阶段残差结构堆叠      3. 池化+FC层输出

残差结构堆叠两种方式：

1、两层：两个3*3卷积堆叠

2、三层：借鉴GoogLeNet，利用1*1减少计算量-第一个1*1下降1/4通道数，第二个1*1恢复4倍通道数

假设输入输出通道数为256，两层残差结构参数量为3×3×256×256×2 = 1179648，三层残差结构参数量为1×1×256×64 + 3×3×64×64 + 1×1×64×256 = 69632，减少了16.94倍

5、预热训练（Warmup）

特点：避免一开始较大学习率导致模型的不稳定，因而一开始训练时用较小的学习率训练一个epochs，后恢复正常学习率

        由于刚开始训练时，模型的权重是随机初始化的，此时若选择一个较大的学习率，可能带来模型的不稳定（振荡），选择Warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些iterations内学习率较小，在预热的小学习率下，模型可以慢慢趋于稳定，等模型相对稳定后再选择预先设置的学习率进行训练。        

       论文中使用一个110层的ResNet在cifar10上训练时，先用0.01的学习率训练直到训练误差低于80%(大概训练了400个iterations)，然后使用0.1的学习率继续进行训练。

6、总结

（1）引入shortcut connection，让网络信息有效传播，梯度反传顺畅，使得数千层卷积神经网络都可以收敛。本文中：shortcut connection == skip connection == identity mapping

（2）大部分的梯度消失与爆炸问题，可通过良好初始化或者中间层的标准化来解决。

（3） shortcut connection有很多种方式，本文主要用的是恒等映射，即什么也不操作的往后传播

（4） highway network的shortcut connection依赖参数控制，resnet不需要

（5） 恒等映射形式的shortcut connection是从网络退化问题中思考而来

（6） 借鉴VGG，本文模型设计原则：1.处理相同大小特征图，卷积核数量一样；2.特征图分辨率降低时，通道数翻倍

（7） 当特征图分辨率变化时，shortcut connection同样采用stride=2进行处理

（8） bottleneck 中两个1*1卷积分别用于减少通道数和增加/保存通道数

（9） 模型集成采用6种不同深度的ResNet结构，可以借鉴其思路

（10）cifar-10数据集上的ResNet-110, 第一个epochs采用较小学习率，来加速模型收敛

（11） cifar-10数据集上，ResNet-1202比110要差，原因可能是过拟合，而不是网络退化