强化学习用于 深度神经网络架构搜寻

论文：NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING

随着深度神经网络在各应用场景上大放异彩，如何自动搜索优秀的深度网络架构以及超参，也成为了一个热门研究点。本文介绍的论文就是通过强化学习，来进行深度网络的架构搜索。

全文的整体概览如下图所示，一个基于RNN的controller用于搜索和生成架构，然后使用强化学习中的policy gradient 方法来更新controller中的参数，这里把架构运行的accuracy作为reward

3.1 GENERATE MODEL DESCRIPTIONS WITH A CONTROLLER RECURRENT NEURAL
NETWORK

文章首先介绍了如何通过RNN来生成神经网络的超参，这里举了一个例子，想要生成一个只有卷积层的线性神经网络的超参，可以使用如下图所示的架构，即简单粗暴的把每一层所有的超参用rnn串联在一起。从layerN-1到layerN到LayerN+1，直到达到预先设定好的层数，一个简单粗暴的神经网络就生成好了。神经网络拿去跑一下，得到accuracy，accuracy作为