一、什么事超参数
-
神经网络中有很多训练过程中不变的参数
如:网络结构参数:几层, 每层宽度,每层激活函数等
训练参数: batch_size, 学习率, 学习率衰减算法等
二、超参数搜索
省去手工去试,节省人力
三、搜索策略
- 网格搜索
- 随机搜索
- 遗传算法搜索
- 启发式搜索
1、网格搜索
把超参数离散化成几个值,然后把这几个值在一一组合起来形成各种各样的组合,再一个个去试
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XXuLd1ba-1575619394063)(/Users/bobwang/Library/Application Support/typora-user-images/image-20191205134920196.png)]
如图,将两个超参数离散后组合成16种组合,比较暴力
2、随机搜索
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HMskv8A0-1575619394064)(/Users/bobwang/Library/Application Support/typora-user-images/image-20191205135228947.png)]
- 参数的生成方式为随机
- 可探索的空间大
3、遗传算法
对自然界的模拟
- A:初始化候选集合–>训练–>得到模型指标(正确率)作为生存概率
- B:选择(基于A形成的生存概率) -->交叉–>变异–>产生下一代集合
- C:用新集合重复A–B
4、启发式搜索
- 研究热点–AutoML的一部分
- 使用循环神经网络生成参数
- 使用强化学习来进行反馈,使用模型来训练生成参数