卷积神经网络Resnet的分析与总结

1 简介

       我们知道，增加网络深度能够提高准确率， 但是否是简单的堆叠更多的层就能学习到很好的网络？答案显然是否定的，众所周知的问题就是存在梯度消失和梯度爆炸现象。解决这两个问题通常是使用归一化方式的初始化以及中间层标准化。

       另外一个问题是：随着网络深度的增加，准确率饱和并且迅速下降，我们称这种现象为退化(degradation)问题，这种问题并不是由于过拟合造成的，而是在合适的深度模型中加入了多余的层，导致训练误差变高。

       这问题可以用下图表示：假设适合数据集的最佳模型为A，我们为了让模型适合数据集通常情况下会涉及更深的网络，也就是A+B，这个时候会出现训练误差先下降后上升、准确率由饱和变为下降的情况，即前面所说的退化问题。假设A模型的训练误差为x，因为A是最佳的模型，所以A+B的期望训练误差也为x，那么我们就需要B学习恒等映射，即B的输入和输出是一样，显然训练恒等映射是非常的困难的，为了解决这一问题，提出了残差学习,f(B)=H(x)-x, f(B)表示B学习到的映射，即B的输出，x表示A的输出B的输入，H(x)表示通过“+”后的总的输出。B被称为残差块。

2 深度残差学习

   短链接(shortcut connections)是特征图中通道内的元素对应相加。

3网络结构

      论文提出了5种不同深度的网络，分别为18层，34层，50层，101层和152层。一共有两大类残差块，第一类的残差块包含两个3*3的卷积，第二类的残差块包含1*1卷积、3*3卷积和1*1卷积三部分，1*1卷积起到的作用是先降维、后升维。

       5种不同深度网路的共同点：(1)3*3卷积滤波器的设计规则：1)输出特征图其大小相同的具有相等数量的滤波器；2)如果输出的特征图其大小减半，则滤波器的数量加倍，以保证每层的时间复杂度；(2) 卷积操作其实是三步：卷积+BN.

4 总结

       残差网络解决的是网络的优化问题。当网络过深的时候会存在训练误差先下降后上升的现象，这个时候很难去训练网络，所以提出了残差学习。