论文笔记：深度残差网络

论文地址：Deep Residual Learning for Image Recognition.

为何使用深度残差网络

理论上来说，神经网络的层数越深，它拟合函数的能力就越强，也就是表达能力越强，按理来说效果会更好，但在实际的处理过程中，越深的网络是越难训练的，模型也会处于一种很难收敛的状态。该论文提出了残差网络结构，这种网络结构解决了深层网络难以优化的问题，并且可以搭建更深的网络结构以获得更高的准确率。

深层卷积网络的退化问题

由于深度学习模型的网络深度对于准确率来说是非常重要的，大家都在探索如何建立更深的网络结构以获得更高的准确率。随着网络深度的增加，梯度爆炸和梯度消失等各种问题会使网络的性能大幅度下滑，传统的解决方法就是使用数据的初始化(normlized initializatiton)和（batch normlization）正则化。
数据的初始化和正则化虽然很大程度上解决了梯度问题，但随着网络层数的增加，出现了一个网络退化的问题。当网络的准确率达到饱和之后，出现了迅速退化的现象，但这种退化并不是由过拟合造成的，并且在一个合理的模型中增加层数却导致了更高的错误率。

如上图所示，训练的错误率和测试错误率在iter为3之前，都有在下降，但在3之后，训练错误率有在继续下降，测试错误率却处于一个平缓的状态，这说明影响错误率下降的原因并不是过拟合，而是网络发生了退化现象。

残差网络结构

在这篇论文中，提出了一种深度残差学习框架来解决网络退化的问题，我们使用这些层来拟合残差映射。残差结构使得深度网络的训练变得更加的容易，由此我们也能搭建更深的网络来实现更高的检测准确率。

残差结构块

残差网络结构块将上层的输出叠加到下层的输入中去。设残差块的输出为H(x)，那么我们学习到的残差函数为F(x)=H(x)-x，那么当我们训练网络时，只需要学习残差映射F(x)，这样比学习原始映射更加容易，更容易优化。在极端的情况下，如果某个恒等映射是最优的，那么将残差变为0 比用非线性层的堆叠来拟合恒等映射更简单。
在原来网络的基础上，使用浅层网络的输出与后几层的输出的叠加，这样并不会增加计算难度和参数量。

快捷层的恒等映射

残差网络的定义如下：
（1）当结构块的输入和输出一致时，恒等映射直接叠加到输出上：

（2）当结构块的输入和输出不一致时，使用x进行线性映射之后，叠加到输出中：

Wi和Ws都是一个方阵，我们使用Ws来进行维度匹配。

三种不同的网络结构

VGG-19 与 34-layer plain

基于VGG网络，设计了plain网络，该网络的下采样是直接采用stride=2的3*3卷积核完成的，在网络的最后使用的平均池化处理。
卷积层主要为3x3的滤波器，设计时有以下规则：
(1) 输出维度相同的层含有相同数量的滤波器；
(2) 如果输出维度减半，则滤波器的数量增加一倍来保证网络的时间复杂度相同。

残差网络结构

在plain网络的基础上，插入了快捷连接，网络由多个残差块构成。实线部分表示的是当前残差块的输入和输出维度不变，虚线则表示的是维度改变，有以下两种解决方法：
（1）shortcut仍然使用恒等映射，使用0来填充增加的维度。
（2）将输入进行线性映射之后，将输入叠加至输出，使维度保持一致。

更深的网络结构

在更深的网络模型中，考虑到训练时间的限制，将残差网络的构建块修改为下图右边的结构。对于每一个残差块，我们都使用了三个叠加层，1x1–3x3–1x1的卷积。第一个1x1的卷积层首先进行了降维操作，使计算量有一定程度的减少，第三层的卷积层又进行了一个升维的操作，这样一来即减少了计算量又维持了原有的精度。

这种网络结构对于层数相同的网络而言，减少了许多的参数量，于是就可以在相应的网络上拓展更多的神经网络层。作者又进一步提出了50、101、152层的深度残差网络，网络也并没有出现像前文说的退化问题，准确率也有一定的提升。