Run, Don’t Walk Chasing Higher FLOPS for Faster Neural Networks

Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks

论文：Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks

本文的主要贡献如下：

1. 指出了提高FLOPS比仅仅减少FLOPs更重要，以实现更快的神经网络。
2. 提出了一种简单而快速有效的运算符PConv，有潜力取代现有的首选运算符DWConv。
3. 提出了FasterNet，它在各种设备（如GPU、CPU、ARM处理器）上运行得非常快。
4. 进行了大量实验，验证了PConv和FasterNet的高速度和有效性。

出发点

在许多的神经网络中，都是在尝试去减少浮点运算量（FLOPs），但每秒浮点运算数FLOPS才是更影响运行速度的因素。

pConv：选择输入通道的一部分进行计算，其余通道进行保留，后续进行PWConv，这样可以让特征信息流经所有的通道。所以它做的操作并不是简单的降级为更少通道的常规卷积。

直接去做T形卷积的FLOPs要高于pconv和PWconv的，所以将它分解开来会更好，可以更好的利用滤波器间的冗余性。在这个基础上，作者提出了FasterNet，他设计简单，适合多种硬件设备。作者在附录中还提供了多种版本，包括FasterNet-T0/1/2（微型版本）、FasterNet-S（小型版本）、FasterNet-M（中型版本）和FasterNet-L（大型版本），有类似的架构，但在深度和宽度上会有所不同。

网络构造：

四个阶段，每个阶段都有一系列的每个阶段都有一系列的FasterNet块，并前置有一个嵌入层（4×4常规卷积）或者一个合并层（2×2常规卷积）用于空间降采样和通道数扩展。每个FasterNet块都有一个PConv层，后面跟着两个PWConv层，它们共同构成了中间层通道数扩展的反向残差块。

---

PConv和Ghost Convolution（GhostConv）对比

• Ghost Convolution（GhostConv）：GhostConv的主要思想是生成额外的ghost卷积核，从而在不显著增加计算成本的情况下扩展通道数量。GhostConv首先使用较少的卷积核进行卷积操作，然后通过线性变换或其他方式生成额外的“ghost”通道。这种方法可以有效地减少模型的参数数量和计算成本。

• PConv设计的初衷是通过减少对内存的频繁访问来提高计算效率。在实施时，PConv会将原始输入特征图的一部分保留不变，只在其余部分上执行标准的卷积操作。这样可以在保持高效计算（FLOPS）的同时，减少浮点操作数（FLOPs）和内存访问次数。

• GhostConv可以说是一个直接插入到现有卷积网络结构中的模块。在训练阶段，GhostConv的工作方式是，它先使用标准卷积操作处理输入特征图的一部分，然后通过深度可分离卷积来生成额外的"ghost"通道。这些ghost通道实际上是对原始卷积输出的再利用和扩展，而不需要额外的计算。GhostConv可以很容易地替换标准卷积层，而无需对网络架构进行大的修改。即插即用的特性得以体现。

  但是，PConv改变了卷积操作的基本行为，它只对输入通道的一部分进行计算。也就是说，要将PConv整合到现有的网络架构中，可能需要对架构做更多的改变。

最后，对这两个模型进行了实验，pConv确实在Speed和参数量上要比GhostConv好很多。但很难不说是或许是用精度换速度的操作。