最近在研究ResNet的各种变体,看到一个宽残差网络(Wide Residual Networks)。它所谓的宽度(width)指卷积层的输出通道数,它希望通过通道翻N倍来换取较浅的网络(depth),以此来提高inference的时候的速度。文章地址:https://arxiv.org/abs/1605.07146
它不能增大卷积核来扩大所谓的宽度,因为从VGG开始的各种网络已经抛弃大卷积核。如果他们“返祖”扩大卷积核大小,没有人会理睬他们的文章,所以只好扩大通道数。其实现在ResNet通道数已经很大,最大到2048,简单的通道数翻倍会让滤波器参数个数变为原来的4倍。
论文原文未细看,本文待完善。