简介
随着深度神经网络的不断发展,网络的层数也在不断加深,每提高一个百分点精度是一小部分都要花费几乎两倍的层数,较深层的网络模型中只有部分模块具有很好的表征能力,非常深的剩余网络会减少特征重用,使得网络训练的特别慢。所以对ResNet块进行了研究,提出了减小残差网络的深度,增大残差网络的宽度的新结构(WRN宽剩余网络)。深度网络具有优越性,然而会在训练中存在一些看你,比如爆炸/梯度消失和退化。后续工作表明剩余链路加快了深度网络的收敛速度。残差网络和公路网络的本质区别就是,后者的残差链路是门控的,并且知道这些门的权值,目前剩余网络研究主要集中在ResNet块内的激活顺序和剩余网络的深度,本文试图进行一个超越以上几点的实验研究。
网络结构
上图(a)是ResNet的残差块结构,(b)是RresNet提出的bottleneck结构,用于更深的层。©是本文作者采用的宽残差块结构,通过增加输出通道的数量使模型变得wider。(d)在两层卷积中加入了dropout。
有三种方法可以增加剩余块的表示能力:
(1)为每个块添加更多的卷积层。
(2)通过添加更多的特征面来加宽卷积层。
(3)增加卷积层滤波器的大小。
作者认为3*3的卷积核十分有效,就不来更换。作者尝试增加宽度来实验。