论文笔记 | Wide Residual Networks

Authors

Sergey Zagoruyko Nikos Komodakis

Sergey Zagoruyko

Abstract

网络不断向更深发展，但是有时候为了得到少量的accuracy的增加，却需要将网络层数翻倍，也会减少feature的reuse，降低训练速度。作者提出了wide residual network，16层的表现就比之前的ResNet效果要好。

1 Introduction

ResNets因为过深，很多residual block只能提供少量的信息，或者只有少量的block能学到重要的信息。作者的16层网络能与1000层的resnet类似，所以作者认为ResNet的主要的能力来自于Residual block ，深度的增加只是辅助而已。
论文认为本文贡献在于：
1. 对ResNet block结构的几个重要方面进行了实验；
2. 提出了widened architecture 而且更好；
3. 提出了deep residual networks使用dropout的新方法

2 Wide residual network

上图中a，b是kaiming提出的两种方法，b计算更节省，但是作者想看 宽度的影响所以采用了a。作者提出增加residual block的三种简单途径：
1. 更多卷基层
2. 加宽（more feature planes）
3. 增加卷基层的filter sizes
作者说小的filters更高效，所以不准备使用超过3x3的卷积核，提出了宽度放大倍数k和卷积层数l，作者的结构：

2.1 type of convolutions

B（M）表示卷基层的结构，M是层数，如B（3,1,1）就是NIN。

2.3 width of residual blocks

参数随着长度的增加成线性增长࿰