【机器学习技术】高斯过程初探

概述

高斯过程是基于统计学习理论和贝叶斯理论发展起来的一种机器学习方法，适于处理高维度、小样本和非线性等复杂回归问题，且泛化能力强，与神经网络、支持向量机相比，GP具有容易实现、超参数自适应获取、非参数推断灵活以及输出具有概率意义等优点。
在统计学和机器学习两个领域中，一些基本理论和算法是共享通用的，但统计学的一个基本关注点在于对数据和模型关系之间的理解，而机器学习的目标主要是用于更准确的预测和对学习算法行为的理解上。机器学习是一种黑盒算法，而统计学更希望得到模型的理论解释。高斯过程模型在某种层面将统计学和机器学习联系到了一起，我们将看到，高斯过程在数学上等价于很多有名的模型，包括贝叶斯线性模型、样条模型、合适条件下的神经网络，并且其也与支持向量机有密切的联系。

随机过程基本概念

随机过程是一个比随机变量更广泛的概念。在概率论中，通常研究一个或多个这样有限个数的随机变量，即使在大数定律和中心极限定理中考虑了无穷多个随机变量，但也要假设随机变量之间互相独立。而随机过程主要是研究无穷多个互相不独立的、有一定相关关系的随机变量。随机过程就是许多随机变量的集合，代表了某个随机系统随着某个指示向量的变化，这个指示向量常用的是时间向量。

高斯过程

随机过程可以用一个随机变量簇{X(t,w), t∈T}来表示，而高斯过程区别于其他随机过程的地方就在于从这个随机变量簇中任意抽取有限个指标(如n个，t1,…tn)所得到的变量构成的向量(X_t1,…, T_tn)的联合分布为多维高斯分布。在一个高斯过程中，输入空间的每一个点都关联了一个服从高斯分布的随机变量，而任意有限个这些随机变量的组合的联合概率也服从高斯分布。当指示向量t是二维或多维时，高斯过程就变成了高斯随机场GRF。对高斯过程的刻画，如同高斯分布一样，也是用均值和方差来刻画。通常在应用高斯过程f~GP(m,K)的方法中，都是假设均值m为零，而协方差函数K则是根据具体应用而定。

线性回归模型和高斯过程模型的关系

在贝叶斯线性回归模型y(x,w) = wT·φ(x)中，先给定w的先验分布p(w)=N(w|0, α^(-1)I)，然后得到y(x,w)的对应的先验分布。给定训练数据集，计算w上的后验概率分布，从而得到和回归函数对应的参数的后验概率分布。
得到模型的向量形式是y=Φ·w，这个式子说