高斯过程回归python_GPR(高斯过程回归)详细推导

GPR(高斯过程回归)详细推导

一、综述

GPR来源于线性模型，有两种方式可以推导出GPR，一种是weight space view,另外一种是function space view。两者考察方式假设不同，关注的对象不同，但是最后导出的结果是相同的。其中，function view的推导方式更加简单，GPR最终的为了实现回归，即已知X,y,x*,求y*。最终的推导出的公式如下：

X,y是已知的数据，我们要求未知数据x*处的函数值，K是核函数。我们接下来会从weight space view和function space view两种方式推导出GPR。最后一部分是GPR的算法流程图。

参考资料：

1.《Gaussian Processes for Machine Learning》

4. python的GPy库和MATLAB中的ooDACE里面集成有GPR

二、weight space view(将w看作变量)

我们考虑下面一个问题：

这是一个线性模型，GPR的想法就是把w看做正态分布的随机变量，求出了w的分布，就知道了y的分布。这里的ε是噪声，在推导中是必须的。如果把

ε=0就是一个无噪的预测，考虑到ε的影响就是一个有噪声的预测。

整个推导分成三部分：

1.已知w的先验分布，通过更多的数据(X,y)求得w的后验分布

2.已知w的后验分布，就能求得f*的概率分布(可以简单地理解为用

来代替)

3.将f*概率分布中均值和方差写成核函数的形式，这个形式与function space