r语言实现sem_R语言实现贝叶斯优化算法

对于神经网络，机器学习等字眼大家应该都很熟悉，今天我们不谈这个，我们看一下这个在这些模型中一个重要的子领域网络超参数搜索。常见的搜索方法是：试错法(Babysitting)、网格搜索(Grid Search)、随机搜索(Random Search)、贝叶斯优化(Bayesian Optimization)。前面三种都是好理解的，都可以从字面意思进行理解。我们主要讲下这个贝叶斯优化算法。其算法可以转化为一个形式的方程式：

x=argmaxf(x) x∈R

此方程的主要意思是获得f(x)最大时的x值，同时x是R中的一个子元素。

算法主要分为两种子形式：一种Prior Function(PF)，当我们不知道目标函数曲线是什么样的时候，我们就只能猜(概率)。主要的方式有含参、不含参、线性、非线形等。比如有高斯过程(GP)，认为目标函数满足多变量高斯分布。当然也有存在其他的函数，在选择PF的时候，需要谨慎选择模型，不同的模型效果是不一样的；另外一种Acquisition Function(AC)，在经历过PF的选择后，那么就要对PF模型进行进一步修正,就需要通过提供真实的样本点来推测最优参数。

基本的流程就是给一个先验的参数进行不断的优化寻找其最优的参数点。我们下面就直接看下在R语言中是如何实现的，我们需要用到包rBayesianOptimiz