最优化问题：在一定的约束条件下，求解最优的输入，以使得目标函数取得期望极值。
最优化问题的三个要素：决策变量decision variables、目标函数objective function、约束条件constraints。
最优化问题可分为：函数优化问题、组合优化问题。
搜索策略/搜索行为：人工搜索/手动调参、网格搜索Grid search（遍历/穷举），随机搜索Random search，贝叶斯优化算法 Bayesian optimization。启发式搜索Heuristical search/有信息搜索Informed search（智能优化算法）。
搜索范围：局部最优，全局最优
手动调参：不能保证得到最佳的参数组合。调参一种反复试验的方法，故会消耗更多的时间。
网格搜索：由于它尝试每一种超参数组合，并根据交叉验证CV分数选择最佳组合，这使得网格搜索交叉验证极其缓慢、耗时。
随机搜索：比网格搜索得到的结果更好，但不能保证给出最佳的参数组合。
贝叶斯搜索：在2维或3维搜索空间中，需要十几个样本才能得到一个良好的替代曲面（surrogate surface）; 增加搜索空间的维数需要更多的样本。属于一类被称为sequential model-based optimization(SMBO)的优化算法。
启发式搜索：利用问题包含的启发信息来引导搜索，从而减少搜索范围、降低问题复杂度。其原理是，在状态空间中对每一个搜索结果的位置进行评估，得到最好的位置，再从这个位置进行新一轮搜索直至达到目标。
参考链接：
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
