【目标检测】|VoVNet

简介

DenseNet在目标检测任务上表现很好。因为它通过聚合不同receptive field特征层的方式，保留了中间特征层的信息。它通过feature reuse 使得模型的大小和flops大大降低，但是，实验证明，DenseNet backbone更加耗时也增加了能耗：dense connection架构使得输入channel线性递增，导致了更多的内存访问消耗，进而导致更多的计算消耗和能耗。

根据shuffleNet v2，减小flops和model size并不能保证GPU运算时间的减少。比如，shuffleNet v2和mobileNet v2有类似的计算量（FLOPS），但是前者比后者快， squeezeNet虽然比VGG少了50倍的参数量，但是它比VGG能耗更多。那么哪些是影响GPU运算效率和能耗的因素呢？

MAC

对于CNN，能耗在内存访问而不是计算上。
影响MAC的主要是是内存占用（intermediate activation memory footprint），它主要受卷积核和feature map大小的影响。

GPU-Computation Efficiency

通过减少FLOP是来加速的前提是，每个flop point的计算效率是一致的。
GPU特性：
擅长parallel computation，tensor越大，GPU使用效率越高。
把大的卷积操作拆分成碎片的小操作将不利于GPU计算。
因此，设计layer数量少的网络是更好的选择。mobileNet使用1x1卷积来减少计算量，不过这不利于GPU计算。
为了衡量GPU使用效率，我们使用Flops/s指标。
上图分析了DenseNet中，浅层feature map对深层feature map的贡献。
计算之前某层的特征图在当前层权重的L1-Norm均值，权重大小表明层与层之间的关联度.位置(ℓ,s)处的红点表示，ℓ层大量使用了s层产生的特征图。

所有的层将权重传播到同一个block，这表明靠后层通过同一个dense block使用了靠前层的特征
Transtions layer在它之前的所有层传播了权重，表明信息通过间接的方式从前向后流动
第二和第三个dense block 中的层没有想transition layer 的输出层（三角形最上边的一行）分配权重，说明transition layer输出了许多冗余的特征（平均权重很低）
虽然最终的分类层（最右边的一层）使用了整个dense block的权重，但是从图上能发现最后的特征图权重的集中，这暗示了在网络的最后几层可能产生了高阶特征。

可以看出，前者对后者的贡献很少。所以我们提出假设

1：中间层聚合能力和最后层的聚合能力成反比。也就是说，中间层特征层对的聚合能力越好，那么最后的feature map的聚合能力就越弱。
因此，让中间的feature maps的聚合能力弱化或者减少其相关性，会更利于最后feature map表达能力的提升。因为可以进一步提出假设，相比于它们造成的损耗而言，中间特征层的dense connection并不重要。

OSA（one-shot-aggregation）模块

VoVNet由OSA模块构成，主要有三种不同的配置，如图2所示。VoVNet首先是一个由3个3x3卷积层构成的stem block，然后4个阶段的OSA模块，每个stage的最后会采用一个stride为2的3x3 max pooling层进行降采样，模型最终的output stride是32。与其他网络类似，每次降采样后都会提升特征的channel数。VoVNet-27-slim是一个轻量级模型，而VoVNet-39/57在stage4和stage5包含更多的OSA模块，所以模型更大。
由于高层语义信息对目标检测任务的重要性更大，文章通过在不同阶段增加输出通道来增加高层特征相对于低层特征的比例。与DenseNet中只有少量新输出的限制相反，文章的策略允许VoVNet用更少的总层数来表达更好的特征表示。

实验