优化｜贝叶斯优化系列 (一)：基础算法原理

本文由 简悦 SimpRead 转码， 原文地址 mp.weixin.qq.com

论文作者：Peter I. Frazier

论文解读者：胡明杰

编者按

贝叶斯优化是一种处理黑盒函数优化问题的重要方法。它通过构建一个目标函数的代理模型，并且利用贝叶斯机器学习方法如高斯过程回归来评估代理模型的不确定性。基于代理模型，通过一个采样函数来决定在哪里进行采样。本推文简单描述了贝叶斯优化方法的框架，包括高斯过程回归和三种常用的采样函数：期望提升，知识梯度，熵搜索和预测熵搜索。最后，本文提供了一些常用的高斯过程回归和贝叶斯优化的软件包。

1. 贝叶斯优化问题

2. 算法框架

3. 高斯过程回归

4. 采样函数

4.1 期望提升（Expected Improvement）

4.2 知识梯度（Knowledge Gradient）

4.3 熵搜索和预测熵搜索（Entropy Search and Predictive Entropy Search）

5. 软件

参考文献

[1] Frazier P I. A tutorial on Bayesian optimization[J]. arXiv preprint arXiv:1807.02811, 2018.

[2] Wu J, Frazier P. The parallel knowledge gradient method for batch Bayesian optimization[J]. Advances in neural information processing systems, 2016, 29.

[3] Rasmussen, C. and Williams, C. (2006). Gaussian Processes for Machine Learning. MIT Press, Cam bridge, MA.

文章须知

推文作者：胡明杰

责任编辑：陈宇文

微信编辑：疑疑

文章由『运筹 OR 帷幄』原创发布