贝叶斯优化 -- 理解

调整超参数设置  ----->     假设超参数X与模型的损失函数有联系

那么我们假设一组超参数 , 模型评价（损失函数）定义为 

那么，我们最初的目标就是超参数调优，选择合适的超参数，使得模型跑出来的损失函数最小，即：         （1）

例如：

1. Input:

• f: 就是那个所谓的黑盒子，即输入一组超参数，得到一个输出值。
• X:是超参数搜索空间等。
• D:表示一个由若干对数据组成的数据集，每一对数组表示为 (X,y)，X是一组超参数,y表示该组超参数对应的结果。
• S:是Acquisition Function(采集函数)，这个函数的作用是用来选择公式(1)中的x，后面会详细介绍这个函数。
• M:超参模型。是对数据集D进行拟合得到的模型，可以用来假设的模型有很多种，例如随机森林，Tree Parzen Estimators(想要了解这两种的可以阅读参考文献[1])等，但是本文主要介绍高斯模型。

2. InitSamples(f,x)→D

        这一步骤就是初始化获取数据集D= (X1,y1),...,(Xn,yn) ，其中yi=f(Xi),这些都是已知的。

3. 循环选参数T次

        因为每次选出参数X后都需要计算f(X),而正如前面介绍的每计算一次函数f，都会消耗大量资源，所以一般需要固定选参次数(或者是函数评估次数)。

• p(y|x,D)←FITMODEL(M,D)

        预先假设M为高斯分布模型，通过D建立分布图，该分布图 通过采集函数，选择最大Xi，将这个X带入f(Xi)中得到yi,加入到D中。

   

最后可得到的核心还是贝叶斯： ,M为超参数模型，E为上述的D