贝叶斯优化算法（BO）

基本原理：贝叶斯优化基于贝叶斯统计理论，将目标函数视为一个随机过程。它通过不断地观察目标函数在一些采样点上的值，来构建一个关于目标函数的概率模型（通常是高斯过程），然后根据这个概率模型来选择下一个采样点，以期望能够快速找到目标函数的最优值。

优点：核心优点就是不需要具体的目标函数的数学表达式。

 一、贝叶斯优化算法

1.1 基本原理

        贝叶斯优化基于贝叶斯定理，使用概率模型来对目标函数进行建模和推断。具体来说，它通过构建一个代理模型（通常是高斯过程）来拟合已有的函数评估点，这个代理模型可以捕捉目标函数的不确定性。基于这个代理模型，贝叶斯优化使用采集函数（如期望改进、上置信界等）来决定下一个要评估的点，采集函数的作用是在探索（发现新的可能包含最优解的区域）和利用（在当前认为最有可能包含最优解的区域进行细化搜索）之间进行平衡。

1.2 主要步骤

1.2.1 构建概率模型

        通常使用高斯过程作为概率模型。高斯过程是一种随机过程，它假设目标函数在任意有限个点上的联合分布是高斯分布。对于给定的输入数据集和对应的目标函数值，高斯过程通过定义一个均值函数m(x)和一个协方差函数k(x,x′)来描述目标函数f(x)的概率分布。

• 均值函数m(x)通常设为一个常数或者是一个简单的线性函数，例如m(x)=μ，其中μ是一个常数，表示目标函数的平均水平。
• 协方差函数k(x,x′)则描述了输入点x和x′之间的相关性，它决定了高斯过程的性质和形状。常用的协方差函数有平方指数协方差函数（也称为径向基函数，RBF）：

其中，σ2是信号方差，控制函数值的波动范围；l是长度尺度参数，决定了函数的平滑程度。

1.2.2 计算 acquisition function

        根据构建的概率模型，计算一个 acquisition function（获取函数），用于评估在每个未采样点上进行采样的价值。常见的 acquisition function 有期望改进（EI）、概率改进（PI）和上置信界（UCB）等。

• 以期望改进为例，其计算公式为：

      其中，x∗是当前已知的最优解，f(x)是目标函数。EI 表示在点x处进行采样能够期望获得的改进量。

• 上置信界的计算公式为：

其中，m(x)是高斯过程在x点的均值，k(x,x)是x点的自协方差，κ是一个控制探索和利用平衡的参数。较大的κ值会使算法更倾向于探索新的区域，而较小的κ值则更注重利用已有的信息。

1.2.3 选择下一个采样点

        通过最大化 acquisition function 来选择下一个采样点，即或等。然后在该点上评估目标函数，并将新的数据点加入到训练数据集中。

1.2.4 迭代优化

        重复步骤 2 和 3，不断更新概率模型和采样点，直到满足预设的停止条件，如达到一定的迭代次数、目标函数的改进小于某个阈值等。

1.3 优点和应用

• 优点：贝叶斯优化能够有效地平衡探索（寻找可能包含最优解的新区域）和利用（利用已有的信息来选择可能更好的点），在较少的函数评估次数内找到较优的解。它对目标函数的形式没有严格要求，适用于各种复杂的函数优化问题。
• 应用：广泛应用于机器学习超参数调整、机器人控制、化学实验设计、生物信息学等领域。例如，在机器学习中，用于调整神经网络的学习率、层数、神经元数量等超参数，以优化模型的性能。

       贝叶斯优化是一种用于全局优化问题的算法，尤其适用于目标函数复杂、难以直接求解或评估代价高昂的情况。它通过构建一个代理模型（通常是高斯过程）来近似目标函数，然后基于这个代理模型来选择下一个要评估的点，以逐步找到最优解。

 

        在贝叶斯优化中，重点在于通过不断地观察目标函数在一些样本点上的取值，来更新对目标函数的认知，而不是依赖于已知的具体函数表达式。代理模型会根据已有的观测数据进行学习和调整，从而能够在没有明确目标函数表达式的情况下，有效地探索搜索空间，寻找最优解。例如，在一些实际问题中，目标函数可能是由复杂的物理过程或实验产生，很难用一个具体的数学公式来表达，但贝叶斯优化依然可以通过对实验结果或观测数据的分析来进行优化。

对贝叶斯估计原理不了解的可以参考贝叶斯原理