《FastandPracticalNeuralArchitectureSearch》论文阅读记录

今天摸鱼……刷了一篇论文看23333

Contributions

1、本文提出的FPNAS可以搜索得到一个表现良好的小规模网络，且只需要20GPU hours。

2、本策略包含由计算高效的block构成的新搜索空间。

3、该搜索得到的网络可以应用于语义分割任务。

算法步骤

1、通过实验证明，用不同结构的block组成的网络模型可以比用相同结构的block堆叠起来的模型性能更好。

2、定义一个block的结构——

3、搜索目标——

4、搜索算法【还采用了两阶段方法，先用共享权重的方法选出几个表现良好的模型，然后对这些模型单独进行训练从而选择出最好的那个】——

思路要点

1、感觉这篇论文里的3.2 Fast Search部分写的很有意思，尤其是Search Algorithm部分。明明就是轮流优化，被作者写成了类似分治的一种方法，一下子格局就提高了不少orz。待抄。

2、用3进制画图。