深度学习：网络优化之超参数

超参数优化（Hyperparameter Optimization）

常见的类型

（1） 网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的类型等。
（2） 优化参数，包括优化方法、学习率、小批量的样本数量等。
（3） 正则化系数
主要存在的困难.
（1）超参数优化是一个组合优化问题， 无法像一般参数那样通过梯度下降方法来优化。
（2）评估一组超参数配置 的时间代价非常高。
对于超参数的配置，比较简单的方法有网格搜索、随机搜索、贝叶斯优化、动态资源分配和神经架构搜索。

1. 网格搜索（Grid Search）

一种通过尝试所有超参数的组合来寻址合适一组超参数配置的方法。

2. 随机搜索（Random Search）
   不同超参数对模型性能的影响有很大差异. 有些超参数（比如正则化系数）对模型性能的影响有限，而另一些超参数（比如学习率）对模型性能影响比较大。在这种情况下，采用网格搜索会在不重要的超参数上进行不必要的尝试。因此，在实践中比较有效的改进方法是对超参数进行随机组合，然后选取一个性能最好的配置，这就是随机搜索。
3. 贝叶斯优化
   以后有时间补充
4. 动态资源分配