论文标题:Model Rubik's Cube:Twisting Resolution, Depth and Width for TinyNets(NeurIPS 2020)
论文地址:https://arxiv.org/pdf/2010.14819.pdf
本文亮点
1.全面分析了在减小网络计算量时,减小输入图片分辨率、减小宽度和减小深度对网络精度的影响程度。
2.通过实验表明按照EfficientNet中的方法减小网络计算量不一定是最优的方法。
3.在网络计算量的限制下,使用高斯过程回归的方法寻找最优的输入图片分辨率、网络宽度和深度。并通过实验证明了使用该方法做网络轻量化的有效性。
4.方法简单,具有通用性,不会引入AI加速器不支持的算子。
关键内容
为了探索在构建轻量化网络时,减小输入图片分辨率、减小宽度、减少深度对网络性能的影响,作者做了一个实验。
以EfficientNet-B0为baseline去做网络轻量化,使得目标网络的计算量为原来一半,即200M FLOPs左右。分别使用 、 表示目标网络和baseline的宽度比值和深度比值,使用 表示目标网络和baseline网络的输入图片长度(或宽度)比值,所以目标网络和baseline网络的输入图片的面积比值为 。
随机选取 和 ,在网络计算量的限制下,根据选取的 和 可得到 。按照此方法可以得到若干个网络。
在ImageNet-100数据集上训练这些网络,得到的结果如下图所示。图中的EfficientNet-B-1是指按照EfficientNet论文中的方法减小baseline得到的目标网络。
上面三个图分别描述了这些模型 、 和 和性能的关系。由上图可得到如下结论:
性能较好的网络,它们的 、 和 大都在如下范围内:
按照EfficientNet论文中的思想去减少EfficientNet-B0的计算量,得到的模型不是最优的。
同等计算量下,适当增加图片分辨率能得到高性能的网络。
给定计算量为 的baseline模型,要得到计算量为
的轻量化模型,就是要求取目标模型的 、 和 ,因此 、 和 都是 的函数,即:
若要得到高性能的轻量化目标模型,需要探索一个问题:不同计算量下,什么样的模型有高性能?
为了得到上述问题的答案,作者做了一个实验,在一定范围内随机选取
、
和
的值,得到若干模型,保留计算量在
和
之间的模型,训练这些模型,并在验证集上测量精度,得到下图:
图中画出了这些模型的计算量和精度,可以发现,在相似计算量下,一些模型精度超过了使用EfficientNet方法得到的模型。
使用NSGA-III方法,选取兼具高性能和低计算量的20个模型,为了探索这些好模型的 、 和 的特点,将选取的20个模型做图如下:
分别计算 、 和 与 的相关度,得到结论:好的模型,输入图像分辨率和计算量有很强的相关性,深度和计算量有较强的相关性,宽度和计算量有弱的相关性。
使用高斯过程回归分别对 和 、 和 之间的关系进行建模,将上图中的20个模型作为训练数据。
下面阐述对 和 之间关系的建模过程。
使用 表示训练集中20个模型的 值,使用 表示训练集中20个模型的 值,训练集可表示为 。建立高斯过程模型:
上式中 是服从 分布的随机噪声。根据高斯过程回归的理论,给定1个新的 ,要求得的 与 的联合高斯分布如下:
上式中 , , , , 取RBF。可得到 的概率分布如下:
和 之间关系的建模与之类似。建模完成后,可得到与给定的某个 (0<c<1) r值和d 。
作者使用EfficientNet-B0为baseline,选取 ,得到TinyNet-A~TinyNet-E共5个轻量级模型。
这些模型在ImageNet-1000数据集的性能如下表所示,其中RA表示使用了论文《Randaugment:Practical automated data augmentation with a reduced search space》中数据增强的方法。
此外,作者按照EfficientNet中的思想减小网络计算量,设计了名为Efficient-B-3的网络结构,将其作为SSDLite的Backbone进行目标检测算法的训练;
使用TinyNet-D网络做SSDLite的Backbone,比较两种Backbone的性能,如下表所示,说明了TinyNet系列网络有较强的通用性。
代码(即将开源):https://github.com/huawei-noah/CV-Backbones/tree/main/tinynet
仅用于学习交流!
(本文为粉丝投稿)
备注:部署
模型压缩与应用部署交流群
模型压缩、网络压缩、神经网络加速、轻量级网络设计、知识蒸馏、应用部署、MNN、NCNN等技术,
若已为CV君其他账号好友请直接私信。
我爱计算机视觉
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
在看,让更多人看到