CSPNet 增强backbone的学习能力 yolov4使用的backbone

《CSPNet A New Backbone That Can Enhance Learning Capability of  CNN》

论文链接：https://arxiv.org/pdf/1911.11929.pdf

github：https://github.com/WongKinYiu/CrossStagePartialNetworks

TL,DL

本文发现了梯度重复利用带来的冗余计算问题，提出了CSPNet结构（Cross Stage Partial Network）可以简单的应用于各种backbone中，在减少10~20%的计算量的同时，准确率几乎不变或略有提升。

在越小的backbone中提点越高。

得到了AlexeyAB大神的认可，集成到了yolov4中。

 

NetWork Architecture / Method

一、Cross Stage Partial （CSP）

CSP本质就是一句话：每一个block，将输入的feature map按照channel拆两份，一份按照原来的方式经过block，另一份直接concat到这个block的输出。

从结果看，用来做concat的那部分越多，计算量下降越明显，精度越低。

 

 

在DenseNet网络结构中（图2a），正向传播和反向传播计算公式如下：

 

 

gi代表第i个dense layer的梯度，可以看出有很多的梯度重复计算的情况，因此设计了图二b的Cross Stage Partial DenseNet. 结构

本质就是在每一个dense block的输入特征图，按照channel分成两部分，一部分还是按照以前的方法计算，另一部分直接和这层dense block的输出做concat，此时梯度计算如下：

 

 

此时g0‘的梯度和gT的梯度分开计算

个人感觉这个做法和减少梯度复用关系不太大，更大的是：

1、每个block输入的channel少了，参数量和计算量也就少了

2、梯度反传的时候，一部分还是按照原来的方式传播（x’‘），一部分直接从这一block的结尾（Xu），传播到了这一层的开头（x’），有点像残差结构，减少了梯度回传的距离。

• Partial Dense Block

cd两中融合方式，效果如下：

c减少26%计算量，下降1.5%，d减少21%计算量，下降0.1%，因此d的方式更优，同时本文的方法是b，两个都用了

本文对于cd差异的解释：c的方式仍然存在梯度复用，而d的方式相当于做了梯度截断，从图4所示的结果来看，很明显，如果可以有效地减少重复梯度信息，则网络的学习能力将大大提高。

• CSP应用在ResNe(X)t

二、Exact Fusion Model （EFM）

感觉用处不太大，本文做法在图c的绿色部分，链接了两个特征层，后面接了一个PANet

文章对于这部分设计的思路解释是：

（1）Looking Exactly to predict perfectly：

分割任务需要更大的感受野，而检测任务如果看到全图的感受野就会感觉到迷惑，Li et al. [15] 两阶段比单阶段好的原因也在于此。

（2）Aggregate Feature Pyramid

If the size of an anchor box is equivalent to the Field of View of the grid cell, then for the grid cells of the sth scale, the corresponding bounding box will be lower bounded by the (s − 1)th scale and upper bounded by the (s + 1)th scale. Therefore, the EFM assembles features from the three scales.

就是说anchor的感受野和这个grid的感受野相同时，还要同时融合上下两层的feature，但是从图c也没看出来，或许是额外的操作？

（3）Balance Computation

we incorporate the Maxout technique to compress the feature maps. 没看到在哪体现

Ablation study

表1证明了CSP在分类上效果不错，用来做concat的那部分越多，计算量下降越明显，精度越低。

表2证明EFM在检测上的效果

Thought

本文主要值得借鉴的是CSP的做法，组做法简单，能够至少减少10%的计算量，同时对于越小的网络提点越明显；

本文目的是CSP提升分类（backcone）效果，EFM提升检测效果，但是yolov4中使用了CSPDarknet，因此CSP也可以用来改善检测的bacnbone以提升检测效果。