weixin_44383803的博客

原创 贝叶斯优化简介

绪论简要的说贝叶斯优化是一种基于贝叶斯方法的搜寻函数（特别是高维非线性非凸函数）全局极值的方法。一般来说作为被优化对象的函数的解析形式是未知的，但对于其定义域内的点我们有办法求其函数值。对于非线性非凸函数的优化问题，常规的方法包括：梯度下降（上升）法，通过计算或估计一阶的梯度决定搜索方向以迭代的方式寻找极值点；还有二阶的方法，比如牛顿法、BFGS算法，计算或估计二阶导数（如果是高维则计算或估计H...