（五十二）论文阅读 | 轻量级网络之CSPNet

最新推荐文章于 2024-04-09 15:55:55 发布

zhangts20

最新推荐文章于 2024-04-09 15:55:55 发布

阅读量1.3k

点赞数 2

分类专栏：论文阅读文章标签：神经网络计算机视觉

本文链接：https://blog.csdn.net/Skies_/article/details/113496518

版权

论文阅读专栏收录该内容

54 篇文章 33 订阅

订阅专栏

简介

在这里插入图片描述

图1：论文原文

为了降低神经网络的计算量，论文提出跨阶段局部网络。该网络可以继承到任何其他网络中，因此可以作为计算机视觉任务如图像分类和目标检测等的骨干网络。论文原文源码

0. Abstract

该论文简化神经网络的思路是减少重复梯度的计算，即将输入特征图按通道划分，同时采用跳跃连接来减少特征损失。

论文贡献：（一）提出跨阶段局部网络减少重复梯度的计算；（二）提出 ${\rm EFM}$ 模块以增强目标检测中的特征提取；（三） ${\rm CSPNet}$ 在图像分类和目标检测等任务上均取得了优异的结果。

1. Introduction

随着神经网络的加深与变宽，其性能往往也更好，但随之带来的是计算量的急剧增加。因此，为了满足实际环境中的实时性要求，轻量级网络的研究受到大家的广泛关注。在论文中，作者分析了 ${\rm ResNet}$ 等模型的特点，提出的计算高效的模块在不减少模型精度的前提下显著减少其所需计算量。

论文提出的主要模块是跨阶段局部网络 ${\rm CSPNet}$ ，该模块的主要特点是更丰富的梯度组合，同时减少计算量。具体地，首先将特征图划分为两个部分，然后基于跨阶段分层结构将其合并，其主要思路是通过分割梯度流来使梯度流通过不同网络路径传播。通过切换级联和转换的步骤，传播的梯度信息可以有很大的差异。
在这里插入图片描述

图2：Comparsion

Strengthening learning ability of a CNN. 论文提出的 ${\rm CSPNet}$ 可以提高当前如 ${\rm ResNet}$ 等模型的性能，同时减少其计算量。

Removing computational bottlenecks. 作者指出，神经网络中的瓶颈块产生了大量的计算代价，因此 ${\rm CSPNet}$ 的提出用于平衡神经网络中各层的计算量，从而提高每个计算单元的利用率。

Reducing memory costs. 在特征金字塔中，作者提出跨通道池化对特征图进行压缩。

2. Related work

CNN architectures design. 这部分主要介绍了 ${\rm ResNet}$ 等高性能神经网络模型。

Real-time object detector. 这部分主要介绍了 ${\rm YOLOv3}$ 等实时性目标检测模型。

3. Method

3.1 Cross Stage Partial Network

Cross Stage Partial Network. 一个 $k$ 层神经网络的输出可表示为： $y=F(x_0)=x_k=H_k(x_{k-1},H_{k-1}(x_{k-2}),H_{k-2}(x_{k-3}),...,H_1(x_0),x_0)\tag{1}$

其中， $H$ 表示卷积操作和非线性激活操作等的组合。则 ${\rm ResNet}$ 和 ${\rm DenseNet}$ 可分别表示为： $x_k=R_k(x_{k-1})+x_{k-1}=R_k(x_{k-1})+R_{k-1}(x_{k-2})+...+R_1(x_0)+x_0\tag{2}$

$x_k=[D_k(x_{k-1}),x_{k-1}]=[D_k(x_{k-1}),D_{k-1}(x_{k-2}),...,D_1(x_0),x_0]\tag{3}$

上式中的 $R$ 和 $D$ 分别表示残差层和密集连接层，其通常包含多个卷积层。

残差层和密集连接层可最小化梯度流经的路径长度，使其进行更加有效的反向传播。然而，这种连接同时也会增加大量的冗余信息，如第 $k$ 层的信息需要传递给第 $k - 1 ， k - 2, . . ., 1$ 层。

当前存在大量改善 $H$ 的工作， ${\rm SparseNet}$ 提出 $H_k$ 仅与 $H_{k-1},H_{k-2},H_{k-4},...,H_{k-2^i},...$ 直接关联； ${\rm ShuffleNetV2}$ 基于通道切分技术使 $H_k$ 仅与 $H_{k-1}$ 的一半通道数相关联，其操作可表示为： $S([H_k(x_{k-1}[1:c/2]),x_{k-1}[(c/2+1):c]])\tag{4}$

其中， $S$ 表示通道混洗操作， $x_{k-1}[1:c/2]$ 表示 $x_{k-1}$ 的前一半通道。

论文提出直接优化 $F$ ： $y=M([x_{0'},T(F(x_{0''}))])\tag{5}$

其中， $x_0$ 沿通道维度被划分成两部分，即 $x_0=[x_{0'},x_{0''}]$ ， $T$ 表示截断 $H_1，H_2,...,H_k$ 的梯度流的转换函数， $M$ 表示融合函数。

DenseNet.
在这里插入图片描述

图3：DenseNet

在 ${\rm DenseNet}$ 中，每个阶段包含一个密集模块和一个转换层，每个密集模块由 $k$ 个密集层组成。可由如下式子表示： $\begin{aligned} &x_1=w_1*x_0 \\ &x_2=w_2*[x_0,x_1] \\ &... \\ &x_k=w_k*[x_0,x_1,...,x_{k-1}] \end{aligned}\tag{6}$

其中， $*$ 表示卷积操作， $x_0,x_1,...]$ 表示拼接操作， $w_i$ 和 $x_i$ 表示第 $i$ 层的权重的输出。

如果利用反向传播算法来更新权重，则权重更新可写作：
$\begin{aligned} &w_1'=f_1(w_1,\{g_0\}) \\ &w_2'=f_2(w_2,\{g_0,g_1\}) \\ &... \\ &w_k'=f_k(w_k,\{g_0,g_1,...,g_{k-1}\}) \end{aligned}\tag{7}$

其中， $f_i$ 表示第 $i$ 的权重更新函数， $g_i$ 表示传到第 $i$ 层的梯度。通过上式可以发现，存在大量梯度信息被重用来更新不同层的权重，这就导致不同层重复学习相同的梯度信息。

Cross Stage Partial DenseNet.
在这里插入图片描述

图4：CSPDenseNet

在 ${\rm CSPDenseNet}$ 中，每个阶段包含一个局部密集模块和一个局部转换层。在每个局部密集模块中，普通层沿通道被划分成两部分，即 $x_0=[x_{0'},x_{0''}]$ 。在 $x_{0'}$ 和 $x_{0''}$ 间，前者直接通过一个跳跃连接直接连接到阶段末尾，后者将通过一个密集模块。最后通过一个局部转换层：首先，密集层的输出 $x_{0''},x_1,...,x_{k-1}]$ 通过一个转换操作；其次，该转换层的输出 $x_T$ 和 $x_{0'}$ 拼接后通过另一个转换操作，得到输出 $x_U$ 。可由如下式子表示：
$\begin{aligned} &x_k=w_k*[x_{0''},x_1,...,x_{k-1}] \\ &x_T=w_T*[x_{0''},x_1,...,x_k] \\ &x_U=w_U*[x_{0'},x_T] \end{aligned}\tag{8}$

$\begin{aligned} &w_k'=f_k(w_k,\{g_{0''},g_1,...,g_{k-1}\}) \\ &w_T'=f_T(w_T,\{g_{0''},g_1,...,g_k\}) \\ &w_U'=f_U(w_U,\{g_{0'},g_T\}) \end{aligned}\tag{9}$

可以看到，对于 $w_T'$ 和 $w_U'$ 中互不包含对方的重复梯度信息。

简单来说， ${\rm CSPDenseNet}$ 继承了 ${\rm DenseNet}$ 中特征复用的特点，同时也减少了重复梯度的计算。

Partial Dense Block. 局部密集模块的特点包括：（1）基于划分合并的策略，梯度路径变为两倍，同时跨阶段策略能够缓解重复特征图带来的梯度重复计算；（2）在 ${\rm DenseNet}$ 中，通常普通层的通道数远大于增长率。由于局部密集模块仅使用特征图的一半通道数，其有效减少了计算量；（3）设 ${\rm DenseNet}$ 中的层大小为 $w\times h\times c$ ，增长率为 $d$ ，共有 $m$ 层。则密集模块的 ${\rm CIO}$ 为 $(c\times m)+((m^2+m)\times d)/2$ ，局部密集模块为 $((c\times m)+(m^2+m)\times d)/2$ 。通常 $m$ 和 $d$ 远小于 $c$ ，则局部密集模块能节省约一半的内存。

Partial Transition Layer.
在这里插入图片描述

图5：不同的特征合并策略

在这里插入图片描述

图6：Accuracy vs. BFLOPS

Apply CSPNet to Other Architectures.
在这里插入图片描述

图7：CSPResNe(X)t

3.2 Exact Fusion Model

**Looking Exactly ot predict perfectly.**

图8：EFM

4. Experiments

在这里插入图片描述

图9：Ablation of CSPNet

在这里插入图片描述

图10：Ablation of EFM

在这里插入图片描述

图11：与其他分类模型的对比

在这里插入图片描述

图12：与其他检测模型的对比

在这里插入图片描述

图13：在CPU和GPU上的推理时间

5. Conclusion

论文提出的 ${\rm CSPNet}$ 可以提高 ${\rm ResNet}$ 等模型的性能，同时减少计算量以应用于移动端。论文的一大贡献是发现冗余梯度的问题，并针对该问题提出跨阶段的合并策略。此外， ${\rm EFM}$ 模块能够压缩特征金字塔的特征图，从而降低所需内存带宽和提高计算效率。

6. ResNet50的CSPNet可视化

在这里插入图片描述

参考

Wang C Y, Liao H Y M, Wu Y H, et al. CSPNet: A new backbone that can enhance learning capability of CNN[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops. 2020: 390-391.

完