贝叶斯优化

论文链接：https://arxiv.org/pdf/1807.02811.pdf
代码链接：https://github.com/fmfn/BayesianOptimization

AutoML 走到今天，已演化出诸多行之有效的自动调参机制，贝叶斯优化 (Bayes optimization) 是其中的优秀代表。原理上，贝叶斯优化通过 高斯过程 (Gaussian process)、TPE (Tree Parzen Estimators) 或 随机森林 (random forest) 拟合超参数与损失函数间的隐藏关系，并在每一轮迭代完成时基于当前拟合函数给出最优参数的建议，进入下一次迭代。相对于网格搜索和随机搜索等无头绪的超参数尝试，贝叶斯优化显然更为高效和精确。可以预期的是，不久的将来，目前流行的网格搜索和随机搜索都将被取代。

关于贝叶斯优化的具体细节请读者自行参考论文，以下提供基于 Python 官方第三方库实现的贝叶斯调参方式。

# 命令行安装
$ pip install bayesian-optimization

# 导入
from ba