论文阅读-基于ENAS的NAS

hello，这是鑫鑫鑫的论文分享站，今天分享的文章是Efficient Neural Architecture Search via Parameter Sharing，这是一篇将提出权重共享的NAS的论文，我们一起看看吧~

论文最大的改进在于：之前的强化学习方法每次选择子网络后，都是重新开始训练一遍子网络模型，再从验证集上获得模型的精度。而ENAS的Cell模型空间参数只有一份，每次选择子网络后，都是在已训练的模型参数上继续训练。

本文从生成RNN和生成CNN两个方面来介绍ENAS算法

1.设计RNN：

首先面临俩个问题：
哪条边需要激活
DAG中每个节点需要执行什么样的计算

controller选择节点1的计算类型为tanh（节点1的前置节点是输入）；选择节点2的前置节点为1，计算类型为ReLU；选择节点3的前置节点为2，计算类型为ReLU；选择节点4的前置节点为1，计算类型为tanh。前置节点红色标出的，计算类型黄色标注的

具体解释：（知乎上看到的，很棒）