Gaussian Process Regression

高斯过程的基本意义在于变量间的相关性仅与间隔有关。（相对距离）
实质上高斯回归就是利用了高斯条件分布导出了分布而已，
至于其均值表达形式（有噪声）与最小二乘回归（岭回归）类似是利用了条件分布是投影的意义，
是直觉的。（不难看到套上分布假设的核岭回归就是所谓有噪声的高斯回归）

非噪声的高斯回归可以看作对一个曲线拟合的概率显示。（拟合曲线有概率区间）
参数corr可以选择回归所用的核。给出了如高斯核这样的设定后，可以相应地给出theta0 thetaL thetaU
这些参数 这些参数设定核参数合适的极大似然估计的初值及上下限。
下面采用了默认的gaussian核（L2），并输出均方误。

import numpy as np 
from sklearn import gaussian_process 
def f(x):
 return x * np.sin(x)

X = np.atleast_2d([1.,3.,5.,6.,7.,8.]).T
y = f(X).ravel()
x = np.atleast_2d(np.linspace(0, 10, 1000)).T

gp = gaussian_process.GaussianProcess(theta0 = 1e-2, thetaL = 1e-4, thetaU = 1e-1)
gp.fit(X, y)
y_pred, sigma2_pred = gp.predict(x, eval_MSE = True)
print "y_pred :"
print y_pred
print "sigma2_pred :"
print sigma2_pred

参数nugget可被用来设定高斯回归的噪声（对角阵或数量阵）