高斯过程与贝叶斯优化

一、高斯过程
定义：高斯过程是概率论和数理统计中随机过程的一种，是一系列服从正态分布的随机变量在一指数集内的组合；高斯过程中任意随机变量的线性组合都服从正态分布，每个有限维分布都是联合正态分布，其本身在连续指数集上的概率密度函数即是所有随机变量的高斯测度。高斯过程由数学期望和协方差函数完全决定的，并具有正态分布的性质。

高斯分布重要的代数性质：在条件作用和边缘情况下是封闭的，也就表示无论经过多少次的运算，得到的结果依旧是高斯分布，这个性质使得统计学和机器学习中的问题变得易解。

高斯分布相关重要性质：
1.高斯过程的n维分布完全由n个随机变量的数学期望，方差和两两之间的归一化协方差函数决定；
2.广义平稳的高斯过程也是狭义平稳的；
3.若高斯过程在不同时刻的取值是不相关的，那么它们也是统计独立的；
4.高斯过程经过线性变换后的过程仍是高斯的。

高斯过程一般用来做回归分析，那我们如何对其进行处理呢？在这里，我们一般用贝叶斯推断处理：在获得新的信息后，更新当前假设对于高斯过程来讲，训练数据就是信息。对于如何建立分布，重点在于均值μ和协方差矩阵P。协方差矩阵描述了分布的形状并预测了函数的特性，十分重要。
通常使用核函数建立分布，在这个过程中，均值的选择一般设置为0，协方差矩阵则是通过求核函数k的值来生成，作用在两两成对的所有测试点上。

二、贝叶斯优化
1.贝叶斯流程框架：

上图描述了贝叶斯优化的大致流程，从图中我们可以知道该优化方法最为重要的两个组件PF（先验函数）、AC（采集函数）；
1）PF(Priori Function)
若模型分布已知，则可以根据经验选择最优的模型；若未知，则可以采用基于高斯过程的核函数作为黑盒函数自己学习；
2）AC(Acquisition function)
经过多次迭代计算后，基于高斯过程本身具有易陷入局部最优的缺点，我们需要用AC来寻找下一个较优的点，那么这就涉及到该步骤的开发和探索之间的权衡；
开发：目的是根据后验分布在更好的区域进行采样，均值越大越好；
探索：目的是在未取样的区域采样，方差越大越好；

以上，通过对贝叶斯优化中两个核心组件实现方法的改进，可以更好地应用在现实的生活、工作以解决现实问题。

通过对相关文献的查找与搜索，分别对PF和AC的优化方法做了总结：
PF

AC

三、应用
高斯过程在机器学习的领域具有强大的功能，该方法通过结合先验知识，对数据做出预测，目前的应用领域结合贝叶斯优化包括A/B测试、推荐系统、机器人及增强学习、环境监控、传感器网络、偏好学习、交互界面、自动机器学习/超参数调整、组合优化和自然语言处理等众多领域。

四、问题及扩展
当前，贝叶斯优化与高斯过程结合的应用已经十分广泛，但是还存在一问题尚待解决。
问题
1.高维度问题
2.多任务问题
3.冻融问题
4.并行化问题
5.资源代价问题

扩展
1.贝叶斯优化每次迭代需要对概率代理模型进行更新，当问题维度高或存在大量历史数据时，更新概率模型需要高昂的计算量，尤其不能满足对实时性要求高的实际任务。针对该问题，目前发展的解决方法有：降维映射、近似方法、并行化、时间敏感性等；
2.随着数据量的增加，复杂应用很难在一台终端上高效执行。因此，贝叶斯优化还需要具有分布式处理数据的能力。
3.贝叶斯优化在求解多目标问题时可考虑同时拥有多个概率代理模型和采集函数。在优化过程中，这些概率模型和采集函数相互促进、相互影响,达到优化学习的目的。

参考文献
1.《Taking the Human Out of theLoop: A Review of Bayesian Optimization》
2.《贝叶斯优化方法和应用综述》
3.《贝叶斯机器学习前沿进展综述》