近年来AutoML突飞猛进,学术界和产业界产品繁多。AutoML包括但不限于自动数据增强,自动网络结构搜索,自动超参搜索和自动优化器。
虽然NAS算法多种多样,但是从方法上可归为三大阵营:基于强化学习算法、基于进化算法和基于梯度的算法。由于NAS往往对算力要求比较高,动辄就是成百上千的GPU小时的训练,所以涌现了一些加速方案,例如权重共享,训练一个大的SuperNet,One-shot等等。
近期笔者在阅读神经网络搜索(NAS)的部分论文,为方便对比各个NAS算法的性能,建立几个比较简单的表格,不定期更新。在方便记忆的同时,利于和大家讨论。因能力有限,可能有些地方会有偏差,如有谬误,请及时指正。
这篇博文主要是统计NAS搜索出的,大小在端侧承受范围内(<10M)的模型在ImageNet数据集上的表现。
Method | Parameters (M) | Acc@1 | Acc@5 | Flops(M) |
---|---|---|---|---|
NASNet-A | 5.3 | 74.0 | 91.6 | 564 |
AmoebaNet-A | 5.1 | 74.5 | 92.0 | 555 |
AmoebaNet-C | 6.4 | 75.7 | 92.4 | 570 |
MixNet-M | 5.0 | 77.0 | 93.3 | 360 |
FC-NAS-C | 5.1 | 76.8 | - | - |
SCARLET-A | 6.7 | 76.9 | 93.4 | 365 |
MoGA-A | 5.1 | 75.9 | 92.8 | 304 |
FairNAS-A | 4.6 | 75.3 | 92.4 | 388 |
MNAS-A | 5.3 | 76.7 | 93.3 | 403 |
ProxylessNAS | 7.1 | 75.1 | 92.5 | 465 |
NAO | 11.35 | 74.3 | 91.8 | 584 |
PNAS | 5.1 | 74.2 | 91.9 | 588 |
DARTS | 4.9 | 73.1 | 91.0 | 595 |
P-DARTS | 7.4 | 75.6 | 95.1 | 557 |
PC-DARTS | 5.3 | 75.8 | 92.7 | 597 |
SNAS | 4.3 | 72.7 | 90.8 | 522 |
Single-Path NAS | - | 75.0 | 92.2 | - |
Single Path One-shot | - | 74.7 | - | 328 |
SemiNAS | 6.32 | 76.5 | 93.2 | 599 |
MiLeNAS | 5.3 | 75.3 | 92.4 | 584 |
SGAS | 5.4 | 75.9 | 92.7 | 598 |
DNA-a | 4.2 | 77.1 | 93.3 | 348 |
DNA-d | 6.4 | 78.4 | 94.0 | 611 |
其中红色部分为CVPR2020会议结果,目前来看,基于知识蒸馏的DNA算法性能最优。