EcoNAS论文阅读笔记

EcoNAS论文阅读笔记

论文链接：https://arxiv.org/pdf/2001.01233.pdf

论文贡献：

1. 通过大量的实验较为系统地分析了NAS搜索效率提升的几个关键因素；
2. 构建了一套基于进化算法的层次化搜索框架；

论文方法：

1. 系统调研代理任务中的关键因素

​ 在NAS搜索中，受限于时间、计算资源等，采样的子网络往往会在代理任务上进行训练，从而获得评价指标。而寻找合适的代理任务成为研究人员重点关注的一个方向。这里的“合适”是指，采样的子网络序列在代理任务上的性能表现与在原任务上的性能表现具有较好的一致性。

本文从一系列NAS论文中筛选出四类决定代理任务质量的关键因素，即:

​ 1) 卷积网络的通道数 c

​ 2) 输入图片的分辨率 r

​ 3) 训练的epoch数量 e

​ 4) 代理训练集的数量 s

​ 借助这四项因素的排列组合，可以将代理任务表示为 ( c a , r b , s c , e x ) (c_a, r_b, s_c, e_x)