自动机器学习AutoML(二)——自动网络结构搜索算法

搜索过程是自动化的

 

如何进行网络结构搜索

• 搜索必有搜索空间
• 搜索过程中必有反馈
• 自动化搜索过程

 

 

网络结构搜索示例——以卷积神经网络为例

 

搜索空间

 

搜索的反馈

 

自动化搜索过程

 

如何使用反馈

 

 

分布式训练

• 控制器参数分布在parameter server中
• 将控制器复制k份
• 每个控制器随机生成若干个神经网络，进行训练
• 神经网络训练完后得到准确率
• 计算控制器梯度
• 梯度回传

把所有参数都存在一组服务器上，把所有的模型训练放在一组工作节点上

 

同步和异步两种方式

一般会采用异步的

 

实现细节

• 两层LSTM，每层长度为35
• Adam优化器，learning_rate=0.0006
• PS=20, 控制器副本数目=100
• 控制器每次生成m个结构，m=8(即800个生成的网络结构同时在训练，同时使用800GPU)

 

缺点

• 每一层的参数都是独立的
• 学习整个网络，参数搜索空间很大
• 难于学习复杂的子结构
• 没有利用重复层的特点