超参数搜索

一、什么事超参数

• 神经网络中有很多训练过程中不变的参数

  如：网络结构参数：几层， 每层宽度，每层激活函数等

  训练参数： batch_size, 学习率， 学习率衰减算法等

二、超参数搜索

省去手工去试，节省人力

三、搜索策略

• 网格搜索
• 随机搜索
• 遗传算法搜索
• 启发式搜索

1、网格搜索

把超参数离散化成几个值，然后把这几个值在一一组合起来形成各种各样的组合，再一个个去试

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XXuLd1ba-1575619394063)(/Users/bobwang/Library/Application Support/typora-user-images/image-20191205134920196.png)]

如图，将两个超参数离散后组合成16种组合，比较暴力

2、随机搜索

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HMskv8A0-1575619394064)(/Users/bobwang/Library/Application Support/typora-user-images/image-20191205135228947.png)]

• 参数的生成方式为随机
• 可探索的空间大

3、遗传算法

对自然界的模拟

• A：初始化候选集合–>训练–>得到模型指标(正确率)作为生存概率
• B：选择(基于A形成的生存概率) -->交叉–>变异–>产生下一代集合
• C：用新集合重复A–B

4、启发式搜索

• 研究热点–AutoML的一部分
• 使用循环神经网络生成参数
• 使用强化学习来进行反馈，使用模型来训练生成参数