[深度学习从入门到女装]Wide Residual Networks

论文地址：Wide Residual Networks

 

这是一篇ResNet的改进版

在之前ResNet的改进上都是对depth做改进，或者是block里边BN-CONV-RELU的顺序做改进，本文是对block的width做改进，也就是block中conv channel的数量

图1中a：普通的basic block

图1中b：bottleneck 就是使用1*1卷积进行降维之后，最后在使用1*1卷积进行升维，减少计算量

 

对于res block的改进有三种最简单的实现：

1、每个block增加更多的conv

2、widen conv 就是conv增加更多的channel

3、增加conv的filter size

 

在其他论文中已经提出小的filter size更有效，所以本文的filter size不超过3*3

下图是原始resnet

本文引入了两个参数，l为block里边conv layer的数量，k为channel的factor，如图所示，basic resnet中k=1，l=2

 

Type of convolutions in residual block

B（x,y）是指每个block中conv的filter size，比如B（3,1）就表示每个block中先有一个3*3卷积，再接一个1*1卷积

 

Number of convolutional layers per residual block

本文还测试了l的作用，使用d来表示block的数量，为了保证计算量统一，当l增加的时候，相应的减少d

Width of residual blocks

WRN-n-k来表示n个conv layer，k为widening factor

Tabel5为使用WRN-28-10的测试结果

Table9为使用WRN-40-10的测试结果

 

最后得出结论：

1、在不同深度的resnet中，widening都能增加performance

2、增加depth和width都有帮助（在参数不至于过高的情况下），stronger正则化很有必要

3、

 

Dropout in residual blocks

本文中在conv层之间增加dropout，并在ReLU后增加BN，如图1d所示