Motivation
卷积神经网络(ConvNets)通常是在固定的资源预算下发展起来的,如果有更多的资源可用的话,则会扩大规模以获得更好的精度,比如可以提高网络深度(depth)、网络宽度(width)和输入图像分辨率 (resolution)大小。但是在计算资源受限的前提下,由于depth、width、resolution三者的组合甚多[自行脑补why],往往很难确定一个最优的组合来获取最佳的模型。基于此,Google研究团队提出了EfficientNet,它使用一个简单而高效的网格搜索来得到复合系数,从depth、width、resolution三个维度同时调整网络,使得网络在同等参数量、计算量的情况下,性能大幅提升!
Details
- Width, depth or Resolution ?
- 调整模型宽度、深度、分辨率中的任意维度,都可以提升性能,但是性价比随着模型的变大而降低;
- 为了获取更好的accuracy和efficiency,对模型宽度、深度、分辨率三者的调整至关重要!
- Compound Scaling
- EfficientNet-B0
Experiment
- Accuracy, Params, FLOPS
- FLOPS vs. ImageNet Accuracy
Reference
[1]. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[2019-ICML]