摘要
本文提出了一种称为Hierarchical-Split块的表征块,它可以作为一种即插即用的块对现有卷积神经网络进行升级,显著提高了网络中的模型性能。层次分割块包含许多层次分割和连接连接在一个单一的残留块。我们发现多尺度特征对于众多的视觉任务是非常重要的。
如图1所示,是准确率和延时之间的比较。圆的大小表示参数量。橙色表示不同的提升策略,绿色表示用不同的注意力机制。红色是我们设计的,蓝色是大的ResNet。
引言
如何去改进网络结构从而提高CNN的表征能力?
一张特征图被分为S组,每一组有W通道。如图2所示,只有第一组的卷积核能够直接连到下一层。第二组特征图经过3x3卷积提取特征后,然后将输出特征映射在通道维度上分成两个子组。一个子组特征映射直接连接到下一层,而另一个子组在通道维度上与下一组输入特征映射连接。连接的特征映射由一组3x3卷积滤波器操作。这个过程重复几次,直到处理完其余的输入特征图。最后,来自所有输入组的特征映射被连接并发送到另一层1x1过滤器以重建特征。
本模块仅在原始ResNet的3x3卷积层中操作。
相关工作
提高模型表征能力的方法论有二:
人类设计的CNN架构