快到起飞 | PP-LCNet在CPU上让模型起飞，精度提升且比MobileNetV3+快3倍

论文地址:https://arxiv.org/pdf/2109.15099.pdf
代码地址:https://github.com/OutBreak-hui/Yolov5-PP-LCNet/blob/main/PP_LCNet/LCNet.py

本文提出了一种基于MKLDNN加速策略的轻量级CPU网络，即PP-LCNet，它提高了轻量级模型在多任务上的性能,对于计算机视觉的下游任务，如目标检测、语义分割等，也有很好的表现。

1.简介

随着模型特征提取能力的提高及其模型参数和FLOPS数量的增加,在基于ARM架构的移动设备或者基于x86架构的cpu设备上实现快速推理变得困难.在这种情况下,已经提出了许多优秀的Mobile网络 ,但是由于MLKDNN的限制,这些网络的速度在启动MKLDNN的Interl CPU上并不理想.
在本文中,作者重新思考了在Intel-CPU上设计网络的轻量级模型元素,作者特别考虑以下三个基本问题
(1)如何在不增加延迟的情况下促进网络学习更强的特性展示
(2)在CPU上提高轻量级模型精度的要素是什么?
(3)如何有效结合不同的策略在CPU上设计轻量级模型。

本文的主要贡献是总结了一系列在不增加推理时间的情况下提高精度的方法，以及如何将这些方法结合起来以获得更好的精度和速度的平衡。
在此基础上,提出了设计轻量级cnn的几个一般原则,为其他研究人员构建轻量级CNN提供了新的思路CPU设备。
此外，该方法可以为神经结构搜索研究人员在构建搜索空间时提供新的思路，从而更快地获得更好的模型。

2.背景

2.1 手工设计的架构

VGG展示了一种简单而有效的构建深度网络的策略:用相同的维度堆叠模块.

GoogLeNet构造了Inception block，它包含了4个并行运算:1x1卷积，3x3卷积，5x5卷积和max pooling。GoogLeNet让卷积神经网络变得足够轻，然后越来越轻的网络出现

MobileNetV1用depthwise and pointwise convolutions代替了标准卷积，大大减少了模型的参数和FLOPs数量

MobileNetV2的作者提出了Inverted block，进一步减少了模型的FLOPs，同时提高了模型的性能

ShuffleNetV1/V2通过channel shuffle进行信息交换，减少了网络结构不必要的开销

GhostNet的作者提出了一种新的Ghost模块，可以用更少的参数生成更多的特征图，从而提高模型的整体性能

2.2 神经网络结构搜索

随着GPU硬件的发展，主要关注点已经从手工设计的架构转向了自适应地对特定任务进行系统搜索的架构。NAS生成的网络大多数使用与MobileNetV2类似的搜索空间,包括EfficientNet、MobileNetV3、FBNet、DNANet、OFANet等。

MixNet提出在一层中混合不同核大小的深度卷积。NAS生成的网络依赖于手工生成的块，如“BottleNeck”、“Inverted-block”等。该方法可以减少神经结构搜索的搜索空间，提高搜索效率，并有可能提高整体性能。

3. 本文方法

虽然有许多轻量级网络在基于ARM的设备上的推断速度很快，但很少有网络考虑到Intel CPU上的速度，特别是在启用了MKLDNN之类的加速策略时。
许多提高模型精度的方法在ARM设备上不会增加太多的推理时间，但是当切换到Intel CPU设备时，情况会有所不同。本文总结了一些在不增加推理时间的情况下提高模型性能的方法。下面将详细描述这些方法.

作者使用MobileNetV1提到的DepthSepConv作为基本块,该块没有shortcut方式之类的操作,因此没有concat或者elementwise-add之类的附加操作,这些操作不仅会导致降低类的推理速度模型,而且对小模型也不会提高精度.
此外,该块经过Intel CPU加速库的深度优化,推理速度可以超过其他轻量级块,如inverted-block或shufflenet-block。将这些块堆叠起来形成一个类似于MobileNetV1的BaseNet。将BaseNet和一些现有的技术结合在一起，形成一个更强大的网络，即PP-LCNet。

3.1 更好的激活函数

众所周知,激活函数的质量往往决定着网络的性能.由于网络的激活函数由sigmoid变为relu,网络的性能得到了很大的提高.近年来,出现了越来越多超越relu的激活函数,当efficientNet使用swish激活函数表现出更好的性能后,MobileNetV3的作者将其升级为HSwish,从而避免了大量的指数运算。从那时起，许多轻量级网络也使用这个激活函数。作者还将BaseNet中的激活函数从ReLU替换为HSwish，性能有了很大的提高，而推理时间几乎没有改变。

3.2 将SE Block放在适当的位置

自SE-Block被提出以来，它已经被大量的网络所使用。该模块还帮助SENet赢得了2017年ImageNet分类竞赛。它在权衡网络通道以获得更好的特性方面做得很好，它的速度改进版本也用于许多轻量级网络，如MobileNetV3。

但是，在Intel cpu上，SE模块增加了推理时间，所以不能将其用于整个网络。事实上作者做了大量的实验和观察，当SE模块位于网络的末端时，它可以起到更好的作用。因此，只需将SE模块添加到网络尾部附近的模块中。这带来了一个更好的精度-速度平衡。与MobileNetV3一样，SE模块的2层激活函数分别为ReLU和HSigmoid。

3.3 更大的卷积核

卷积核的大小常常影响网络的最终性能。在MixNet中，作者分析了不同大小的卷积核对网络性能的影响，最终在网络的同一层中混合了不同大小的卷积核。但是这样的混合降低了模型的推理速度，所以作者尝试在单层中只使用一种大小的卷积核，并确保在低延迟和高精度的情况下使用大的卷积核。

实验发现,类似于SE模块的位置,取代3x3卷积内核只有5x5卷积内核的末端网络将实现替换的影响几乎所有层的网络,所以只在网络的末端做了这个替换操作。

3.4 Larger dimensional 1×1 conv layer after GAP

PP-LCNet中，经过GAP后的网络输出维数很小。而直接添加最终的分类层会失去特征的组合。为了使网络具有更强的拟合能力，在最后的GAP层之后增加了一个1280维尺寸为1×1 conv(相当于FC层)，这将允许更多的模型存储，而不增加推断时间。

4.实验

4.1 图像分类

表2显示了PP-LCNet在不同尺度下的top-1和top-5的验证精度和推断时间。此外，采用SSLD精馏法可大大提高模型的精度。表3显示了PP-LCNet与最先进模型的比较。与其他模型相比，PP-LCNet显示出强大的竞争力。

4.2 目标检测

对于目标检测任务,使用PaddleDection3开发的轻量级PicoDet作为Baseline方法。表4显示了PP-LCNet和MobileNetV3为Backbone的目标检测结果。与MobileNetV3相比，PP-LCNet大大提高了COCO上的mAP和推理速度。

4.3 语义分割

使用MobileNetV3作为Backbone进行比较。如表5所示，PP-LCNet-0.5x表现更好MobileNetV3-large-0.5x在mIoU上提高了2.94%，但推断时间减少了53ms。与 larger models相比，PP-LCNet也具有较强的性能。以PPLCNet-1x为Backbone时，模型的mIOU比MobileNetV3-large-0.75x提高了1.5%，但推理时间缩短了55ms。

4.4 消融实验

上表对比了不同模块移除对于PP-LCNet的性能影响，可以看到：

• H-Swish与大卷积核可以提升模型性能且几乎不会造成推理耗时提升；
• 添加少量的SE更进一步提升模型性能；
• GAP后采用更大FC层可以极大提升模型性能；
• dropout技术可以进一步提升了模型的精度。

PP-LCNet的实际应用:PPLcnet和YOLO的碰撞，真的能在cpu上快到起飞？