​使用高斯过程回归指导网络轻量化

论文标题：Model Rubik's Cube:Twisting Resolution, Depth and Width for TinyNets(NeurIPS 2020)

论文地址：https://arxiv.org/pdf/2010.14819.pdf

本文亮点

1.全面分析了在减小网络计算量时，减小输入图片分辨率、减小宽度和减小深度对网络精度的影响程度。

2.通过实验表明按照EfficientNet中的方法减小网络计算量不一定是最优的方法。

3.在网络计算量的限制下，使用高斯过程回归的方法寻找最优的输入图片分辨率、网络宽度和深度。并通过实验证明了使用该方法做网络轻量化的有效性。

4.方法简单，具有通用性，不会引入AI加速器不支持的算子。

关键内容

为了探索在构建轻量化网络时，减小输入图片分辨率、减小宽度、减少深度对网络性能的影响，作者做了一个实验。

以EfficientNet-B0为baseline去做网络轻量化，使得目标网络的计算量为原来一半，即200M FLOPs左右。分别使用 、 表示目标网络和baseline的宽度比值和深度比值，使用 表示目标网络和baseline网络的输入图片长度（或宽度）比值，所以目标网络和baseline网络的输入图片的面积比值为 。

随机选取 和 ，在网络计算量的限制下，根据选取的 和 可得到 。按照此方法可以得到若干个网络。

在ImageNet-100数据集上训练这些网络，得到的结果如下图所示。图中的EfficientNet-B-1是指按照EfficientNet论文中的方法减小baseline得到的目标网络。

上面三个图分别描述了这些模型 、 和 和性能的关系。由上图可得到如下结论：

• 性能较好的网络，它们的 、 和 大都在如下范围内：

• 按照EfficientNet论文中的思想去减少EfficientNet-B0的计算量，得到的模型不是最优的。

• 同等计算量下，适当增加图片分辨率能得到高性能的网络。

给定计算量为 的baseline模型，要得到计算量为

的轻量化模型，就是要求取目标模型的 、 和 ，因此 、 和 都是 的函数，即：

若要得到高性能的轻量化目标模型，需要探索一个问题：不同计算量下，什么样的模型有高性能？

为了得到上述问题的答案，作者做了一个实验，在一定范围内随机选取 、 和 的值，得到若干模型，保留计算量在 和 之间的模型，训练这些模型，并在验证集上测量精度，得到下图：

图中画出了这些模型的计算量和精度，可以发现，在相似计算量下，一些模型精度超过了使用EfficientNet方法得到的模型。

使用NSGA-III方法，选取兼具高性能和低计算量的20个模型，为了探索这些好模型的 、 和 的特点，将选取的20个模型做图如下：

分别计算 、 和 与 的相关度，得到结论：好的模型，输入图像分辨率和计算量有很强的相关性，深度和计算量有较强的相关性，宽度和计算量有弱的相关性。

使用高斯过程回归分别对 和 、 和 之间的关系进行建模，将上图中的20个模型作为训练数据。

下面阐述对 和 之间关系的建模过程。

使用 表示训练集中20个模型的 值，使用 表示训练集中20个模型的 值，训练集可表示为 。建立高斯过程模型：

上式中 是服从 分布的随机噪声。根据高斯过程回归的理论，给定1个新的 ，要求得的 与 的联合高斯分布如下：

上式中 ， ， ， ， 取RBF。可得到 的概率分布如下：

和 之间关系的建模与之类似。建模完成后，可得到与给定的某个 (0<c<1) r值和d 。

作者使用EfficientNet-B0为baseline，选取 ，得到TinyNet-A~TinyNet-E共5个轻量级模型。

这些模型在ImageNet-1000数据集的性能如下表所示，其中RA表示使用了论文《Randaugment:Practical automated data augmentation with a reduced search space》中数据增强的方法。

此外，作者按照EfficientNet中的思想减小网络计算量，设计了名为Efficient-B-3的网络结构，将其作为SSDLite的Backbone进行目标检测算法的训练；

使用TinyNet-D网络做SSDLite的Backbone，比较两种Backbone的性能，如下表所示，说明了TinyNet系列网络有较强的通用性。

代码（即将开源）：https://github.com/huawei-noah/CV-Backbones/tree/main/tinynet

仅用于学习交流！

（本文为粉丝投稿）

备注：部署

模型压缩与应用部署交流群

模型压缩、网络压缩、神经网络加速、轻量级网络设计、知识蒸馏、应用部署、MNN、NCNN等技术，

若已为CV君其他账号好友请直接私信。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看，让更多人看到