WRN(Wide ResNet)

Paper : Wide Residual Networks
Code : official

摘要

深度残差网络能够将网络深度扩大到上千层，并且有很好的性能提升。但是，分类准确率每提高百分之一的代价几乎是层数的两倍。深度越深的网络，出现梯度消失的可能性越高，训练起来越慢。因此，为了解决这些问题，作者提出使用深度适中，通道数更高的网络模型来替代深而细的网络模型。

网络结构

ResNet的引入大大加深了可训练的神经网络的深度，而为了减少参数规模而使用bottleneck更是使得网络变得细长。ResNet和著名的identity shortcut connection 就是在“深即是好”的指导思想下诞生的。但是，identity shortcut connection的使用既是ResNet可训练的基础，也是ResNet的缺陷。当梯度流通过整个网络时，网络不会强迫梯度流过权重层。所以很有可能少量的块能够学习有用的表达，或者很多的块分享非常少的信息，对最终结果影响很小。之前一篇blog中曾经介绍过随机停用残差神经网络中的一些块的权重层，以强迫其他的权重曾学到有效的特征信息。这个方法的有效性也证明了上面的假设。

解决问题的方法在于改变“深既是好”的观点，Inception提出的方法是增加网络的宽度(blog)。作者认为，以正确的方式加宽残差块提供了一种更加高效的提高残差网络性能的方法，而不是增加网络深度。WRN的表现相比ResNet提高了挺多，而深度只有ResNet V2的1/50，计算速度更快。

增大网络宽度的同时，卷积层的过拟合风险也就更大。为了避免过拟合，作者尝试在ResNet Block中引入dropout 层

WRN是基于PreActResNet相比，WRN主要有以下几点不同：

1. 不使用bottleneck，bottleneck只会使网络变得更细更深
2. 增加特征面来加宽卷积层

WRN的通用网络框架如下

核心观点

1. 论文证明了除了“深就是好”之外的另一条路——增大网络的宽度。证实了Inception V2中提出的模型设计原则：平衡宽度和深度。增加宽度或深度都会带来性能上的提升，两者同时增加带了并行提升，但是要考虑计算资源的合理分配。

2. 在卷积层之间使用dropout可以避免网络宽度带来的过拟合问题。