理解贝叶斯优化

最新推荐文章于 2024-07-30 17:39:55 发布

闲华之谈

最新推荐文章于 2024-07-30 17:39:55 发布

阅读量709

点赞数

分类专栏：人工智能算法文章标签：机器学习

本文链接：https://blog.csdn.net/xiexiezhuanzhuan/article/details/103993227

版权

本文深入探讨贝叶斯优化，包括概率代理模型如高斯过程和采集函数，如EI和UCB。介绍了贝叶斯调参过程，强调在探索和利用之间的平衡。同时指出，贝叶斯优化需要对统计概率有深入理解，并列举了相关参考资料。

摘要由CSDN通过智能技术生成

1 总述

对于贝叶斯优化，总体可以分为两个部分，概率代理模型和采集函数。

2 概率代理模型和采集函数

概率代理模型：根据模型的参数个数是否固定可分为：参数模型和非参数模型。常见的参数模型有：贝塔-伯努利(Beta-Bernoulli)模型和线性(linear)模型。常见的非参数模型有高斯过程、随机森林等。本文介绍应用范围最广的高斯过程。
采集函数：主要根据后验概率代理模型，选择下一个具有潜力的评估点。

2.1 高斯过程

由于高斯过程的参数维度随着观测点的增加而增加，非固定，因此被归类为非参数模型（并非没有参数）。
高斯过程可以看成是一个函数，这个函数的输入是 $x_{t+1}$ ，函数的输出是在当前输入 $x_{t+1}$ 下的预测值在高斯分布下的均值和方差。

在训练中，主要涉及协方差矩阵的计算和超参数的优化。

2.2 采集函数

采集函数：对于采集函数需要一方面尽可能的探测未知的空间（未评估过的参数组合），这样概率代理模型才能更加接近真实的未知函数。另一方面，根据已经找到的最优值，加大在其周围搜索参数的力度，以期更加迅速的找到全局最优值。这两方面往往是矛盾的，需要在两者之间找到一个平衡点。常见的采集函数有三种：probability of improvenment(PI)、Expected improvement(EI)、Upper confidence bound(UCB)。