Gaussian process的样本生成与其mean和kernel的联系

最新推荐文章于 2023-09-12 23:01:56 发布
最新推荐文章于 2023-09-12 23:01:56 发布
阅读量1.4k 收藏 8
点赞数 2

 

转自https://zhuanlan.zhihu.com/p/31427491

  1. 给定mean和covariance，如何生成一个GP。

当给定mean function和kernel的时候，我们可以确定唯一的GP，但是唯一的这个GP却有着无穷多个样本，比如

                                      5条样本曲线

这个的五条曲线都是来自于一个的确定参数的mean function（零均值）和确定参数的kernel（Squared Exponential, ell = 0.04, sf = 1）的GP的。当然你还可以画出50条，500条，甚至无穷多条GP的样本，不过归根到底他们都是来自同一个确定的GP。

或者你会问，这些乱七八糟的线，看上去没有任何规律呀！

的确，画五条的时候，还没有看不出规律，但是你若是画上500条呢？

                                            500条样本曲线

嗯，似乎好像还是杂乱的曲线呀，这能有什么规律呀？

“真的没有呀！”

再仔细看看！

“似乎好像那些曲线似乎都在-2到2之间波动”

对嘛，其实这就是规律！如果我们随便挑选一个横轴x=0.5去寻找对应的500个样本中每一个对应的x=0.5的点，然后画个直方图，一切就明了了！

                                500样本中所有x=0.5的直方图

看着是不是还蛮像我们最开始说的高斯分布的的直方图呀？

什么？还是不像！

好吧，那一定是因为这个500不够，来个50000的吧！

这次看着是不是像了很多呢？再仔细观察是不是发现这个高斯分布也不是一个普通的高斯分布，而是一个以0为均值，以1为方差的高斯分布哦！

这个也可以做实验得到么？

当然，其实只要直接把之前50000个点的数据用MATLAB自带的函数一fit就知道啦

[muhat,sigmahat] = normfit(data)
[muhat,sigmahat,muci,sigmaci] = normfit(data)
[muhat,sigmahat,muci,sigmaci] = normfit(data,alpha)

没错，这个数值的结果就是mean = 0, variance = 1。回过头来再想一下，这个0是什么呢，这个0其实就是我们之前给定的mean function在x=0.5处的值（其实因为是常数0，所以无论x等于多少，都是0）呀，而这个1呢，其实就是之前我们给定的kernel，Squared Exponential, 当x=0.5时自己与自己的covariance（其实就是方差啦）！

PS： 当然可能数字取的太随意的，0太普通，没有标示性，有兴趣的话，你可以将之前的mean function设置成为任意的非零数，看看之后对应的高斯分布的均值是不是也会相应移动哦！

 

wow，原来那么神奇呀！

汗！

其实一点也不神奇，这一切都是因为之前我们给出的GP的定义呀！

从理论的角度看，根据GP的定义，连续输入空间（时间或者是空间）中每个点都是与一个高斯分布的随机变量相关联，换言之就是，在任意一个时间或者空间点上，对应的随机变量都是满足高斯分布，而这个被满足的高斯分布的里面的决定量（mean和variance）又是被对应的高斯过程的中的mean function和covariance function所确定的。

因而才会发生之前我们所观察到情况，即在50000条样本曲线的x=0.5处的所有可以估计出一个被确定均值和方差的高斯分布，因为在我们开始生成GP样本前，mean function和kernel是预先给定的！

 

原来如此呀！可是生成GP的过程和代码呢？

别急，这就来！步骤如下：

  1. 给定mean function和covariance（kernel） function，比如最简单的mean默认为constant，且为0，,kernel = Squared Exponential(SE)。
  2. 给定mean function以及kernel中的hyperparameter的初始值，比如，mean是constant，一点为0那就是处处为0了，kernel =SE, 需要给出其中的\ell,s_f^2 (这个表述跟gpml一致，并且这个代码包中也允许mean为空，即使用mean=0，Documentation for GPML Matlab CodeDocumentation for GPML Matlab Code)。
  3. 给定想要产生的样本函数定义域，比如问题图中的范围[0,1]，如果是计算程序的，自然还涉及到取多少个点，比如在给定的[0,1]每隔0.01去一个点总共101个输入点。
  4. 有了mean function和kernel以及对应的初始超参数，那么我们就可以计算对应的mean function 的均值向量，记为M， kernel的covariance matrix，记为C。
  5. 对C进行SVD分解，C = usv'。
  6. 从标准高斯分布中产生n个点的样本，这里n就是输入点的个数，记为g_n。
  7. 则利用z_{gp} = u\sqrt{s}g_n + M 就可以生成一个给定具体mean function和kernel的GP的样本。

当然如果要问为什么这样生成的东西就是GP，那其实只要计算mean和covariance就好，原因在于下面这个定理（详见https://arxiv.org/pdf/1605.07906.pdf）[3]

所以，E(z_{gp}) = u\sqrt{s}E(g_n) + E(M)= M \tag{1} ,cov(z_{gp},z_{gp}') = u\sqrt{s}*1*\sqrt{s}v' = usv' = C，因此就可以说明这就是以上GP的一个样本。

简单的给个基于gpml工具包的函数代码（代码需要先加载gpml的startup，切记切记，不然代码可是动不了哈）：

meanfunc = @meanConst; m = 0; hyp_mean = m;
% meanfunc = @meanLinear; a = 2; hyp_mean = 2;
% 这里也可以使用gpml包里面的其他mean function

covfunc = @covSEiso; ell = 0.04; sf = 1; hyp_cov = log([ell,sf]);
% 这里也可以使用gpml包里面的其他kernel

x = 0:0.01:1; x=x';
n = size(x,1);

M = feval(meanfunc,hyp_mean,x);
C = feval(covfunc,hyp_cov,x);

[u,s,~] = svd(C);  %SVD decomposition, C=usv'
gn = randn(n,1);  % Genearate a sample from standard normal distribution
z_gp = u*sqrt(s)*gn + M;

 

不难吧？

必须的！

有了这个基本的代码，重复50000次，获得50000条样本区别不用我继续详细说了吧？

然后给定任意一个输入点，看看对应的点整体是不是服从一个特别的高斯分布！

非常建议仍然不是很理解的小伙伴们，可以动手试一试哈！

 

最后在说说再简单关于实际用GPR的进行预测时候，如何处理mean function的设定问题。其实这是一个理论上重要的问题，但是实际操作中经常默认取常数值0。

 

首先我们需要明确是的，在运用GPR做预测的时候，我们假定是：给定的样本来自一个参数待定的确定形式GP的一个样本（即对应无穷多条样本曲线中的一条），这里注意的是，假定是来自的高斯过程，不是说一定需要来自高斯分布哦（这个话题下一节我们还要仔细讨论）！然后根据训练集，学习得出给定mean function和kernel的形式所对应具体的超参数。这里的学习依据有很多种方法，但是说到底，并不是唯一可以被确定的。

也就是说给定有限个数据点，通过学习后，可以得到的一个最有可能的归属GP（当然根据不同的学习，得出所归属的GP也并非同一个），而不是一个唯一确定的归属GP。所以这也就导致了给定一组数据，它既可以看做是mean=0的某一个GP，也可以看做对应其他mean function对应的另一个GP。当然若是看做mean=0的某一个GP，各种计算都要方便简单很多。所以说如果可能的话，我们当然要选择一个简单的啦！

另外，对于mean来说，比如constant， 不同的constant最后在样本的体现上很明显吧，如下图所示

mean function是constant,但对应的常数值不同

其实，也就是把所有样本整体进行的平移！也正是如此，那么方便起见，我们在处理数据的时候只要将数据先做一些基本的预处理，比如归零化处理后，那么我们假设mean=0的也是合情合理吧！当然如果有明显的其他特征也是先行除掉哈，比如线性，下图就是用了不同斜率的linear mean function所产生的。

Linear mean function对应不同斜率值

究其本质，事实上就是公式（1）中的求期望是对于随机变量的，而关于x的函数此时就是个常数，而常数的期望就是它本身，因而最终样本产生事实上就是 z_{gp} = u\sqrt{s}g_n + M ，即mean=0的部分外加一个给定的mean形式。

 

当然如果一定要加入非零mean function也是合理的，然后需要增加待确定参数，而这一切的压力就是转嫁到之后的参数学习的步骤中，增加计算量，而效果一般而言也并非会有本质提升。当然一些长期的预测模型中，整体而言，由于GPR最后回归于给定mean function，所以其实这种情况下，mean的给定也代表了对长期未来的一种先验。具体的一部分学术上讨论的并不是很多，可以参考文献[1][2]。

 

总而言之，对以GPR模型的使用中，最好先对数据进行预处理（事实上，这也是大多数数据分析是所必须的），然后再没有特殊要求的情况下，选择零均值函数的GPR模型即可，因为这是最常用的选择也是性价比最高的选择！

 

 

参考文献

[1] Roberts, Stephen, et al. "Gaussian processes for time-series modelling." Phil. Trans. R. Soc. A371.1984 (2013): 20110550.

[2] Chen, Zexun. Gaussian process regression methods and extensions for stock market prediction. Diss. Department of Mathematics, 2017.

[3] Chen, Zexun, and Bo Wang. "How priors of initial hyperparameters affect Gaussian process regression models." arXiv preprint arXiv:1605.07906 (2016).

wenli_smile
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
GP.zip_GP python_gaussian process_gp_zip
09-19
标题中的"GP.zip_GP python_gaussian process_gp_zip"表明这是一个关于使用Python实现高斯过程（Gaussian Process，简称GP）的压缩包文件。高斯过程是一种统计模型，常用于机器学习中的回归和分类任务，特别是在处理...
一元高斯分布（Univariate Gaussian Distribution）（详细说明，便于理解）
我不爱机器学习的博客
01-15 8980
1、一元高斯分布的定义 高斯分布也叫正态分布，主要用于连续变量的分布。假设有一变量，则其高斯分布形式为： 式中是均值（mean），是方差(variance)，方差的平方根叫做标准误（standard deviation），方差的倒数叫做精度（precision）。 高斯分布满足： 高斯分布是归一化的（...
高斯过程（Gaussian Processes）原理
热门推荐
ting_qifengl的博客
11-30 3万+
高斯过程（Gaussian Processes, GP）是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。博主在阅读了数篇文章和博客后才算是基本搞懂了GP的原理，特此记录。本文目前暂对高斯过程的公式推导和高斯过程回归原理及其优缺点进行讲解和阐述，后续根据个人学习进度再更新源码等内容。 一、一维高斯分布 我们从最简单最常见的一维高斯分布开始。 众所周知，一维高斯分布，又叫一维正态分布的概率密度函数为： 式中，表示均值，表示方差，均值和方差唯一的决定了曲线的
高斯过程 Gaussian Process
sinat_37836116的博客
04-05 7709
一、什么是高斯过程   高斯过程是一种随机过程，即按时间或者空间索引的随机变量的集合。这个集合中的有限个随机变量构成多维高斯分布。高斯过程就是这个集合中所有随机变量(无限多个)的联合分布。 二、高斯分布 2.1 一元高斯分布   一元高斯分布的概率密度函数为： f(x)=1σ2πe−12(x−μσ)2(1) f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2}\tag{1} f(x)=σ2π​1​e−21​(σx
20 高斯过程 Gaussian Process
cengjing12的博客
06-11 909
本小节我们将进入Gaussian Process 的学习。Gaussian 自然指的就是Gaussian Distribution，而Process 指的就是随机过程。在一维的 Gaussian Distribution 中我们可以令 p(x)=N(μ,σ2)p(x)=\mathcal{N}\left(\mu, \sigma^{2}\right)p(x)=N(μ,σ2) 。如果 对应到高维高斯分布的话，也就是 (Multivariate Gaussian Distribution) 也就是我们通常意义上说的
高斯过程（Gaussian Process）回归预测，例子，代码及可视化展示
qq_41816368的博客
06-18 8191
高斯过程指的是一组随机变量的集合，这个集合里面的任意有限个随机变量都服从联合正态分布。联合分布是指多个随机变量同时满足的概率分布，一个常见的例子是考虑两个随机变量：X 表示一个人的年龄，Y 表示他们的身高。一个地点的气温，我们有过去10年6月1号的气温数据，想要预测明年6月1日的气温，那么假定那一天的气温服从高斯分布，根据过去的数据，可以算出均值。通过对高维高斯分布进行一次取样，可以得到一系列y_s，从x_s映射到y_s的关键就在于协方差矩阵，通过核函数，可以构造不同的协方差矩阵。对应我们代码的x_s，
GaussianProcess.zip_LPI_gaussian分类_随机过程
07-14
高斯过程（Gaussian Process，简称GP）是一种非参数概率模型，它在机器学习、回归分析和计算机视觉等领域有着广泛的应用。GP是一种强大的工具，特别是在处理不确定性问题时，因为它们提供了完整的概率框架，可以对...
Bearing remaining life prediction using Gaussian process regression with composite kernel functions
02-11
Bearing remaining life prediction using Gaussian process regression with composite kernel functions
Gaussian process for machine learning
08-27
Gaussian process for machine learning, by Carl Edward Rasmussen and Christopher K. I. Williams. 2006
_Gaussian-process-regression_GPR_高斯过程回归_高斯回归_gaussianprocess_高斯过
08-16
"gpml"可能是指Gaussian Process Machine Learning Library，这是一个广泛使用的开源库，包含各种高斯过程模型的实现，包括回归、分类和优化问题。"gaussian"可能是与高斯过程相关的代码或数据集。 **学习流程** ...
关于高斯过程的介绍Introduction Of Gaussian Process
08-12
高斯过程Gaussian Process是近几年继SVM之后，兴起的在机器学习领域的又一个热点。这份是来自剑桥大学mackay教授的一篇关于Gaussian Process的概述文章。对有兴趣的应该会有帮助！
快速入门高斯过程（Gaussian process）回归预测
qq_50310065的博客
12-27 2万+
前言 这篇文章主要是教会你如何快速了解高斯过程进行回归预测的，并没有太多的公式推导，只有简单的相关的概念的介绍，如果您要自己掌握并使用高斯过程进行一个简单的预测，还需要进行一些基础知识的学习的，我会在文章最后推荐一些博主有关高斯过程详细介绍的文章。 话不多说，首先我们看一下面这道题目。这里该不会有人不知道“回归”的意思吧，简单讲回归就是一种拟合，把孤立的东西联系起来，找到规律，这就叫回归。正如题目所示，我们知道了六个点的纵坐标，要预测第七个点的纵坐标。我想很多人都知道线性回归的吧，也就是用y=kx+b来代
【数理基础】Gaussian Process(GP)高斯过程与Gaussian Process Regression(GPR)高斯过程回归
最新发布
weixin_60734652的博客
09-12 372
假设是一个连续域，对于中的每一个点，都有一个其对应的变量。如果我们任意选取一组点，都有对应变量的联合分布服从多维高斯分布（注意当只选取一个点时则服从一维高斯分布），那么就将称为一个高斯过程。由于是连续域，可以随机去任意多点，因此可以看做是在这个连续域上的无限维高斯分布。在实际采样时，我们无法采样无限多的点，因此假设我们每次采样的位置是注意每个点对应的是一个随机变量而不是一个具体的值。
Mean filter 和 Gaussian filter对比
子燕若水的博客
06-07 477
Mean filter
高斯过程回归(Gaussian process regression)原理详解及python代码实战
spatial_coder的博客
11-12 2万+
高斯过程回归(Gaussian process regression,GPR)是一个随机过程（按时间或空间索引的随机变量集合），这些随机变量的每个有限集合都服从多元正态分布，即它们的每个有限线性组合都是正态分布。高斯过程的分布是所有这些（无限多）随机变量的联合概率分布。定义：一个高斯过程是一组随机变量的集合，这组随机变量的每个有限子集构成的联合概率分布都服从多元高斯分布，即： f∼GP(μ,k)(1−1)f \sim GP(\mu,k) \qquad(1-1) f∼GP(μ,k)(1−1) 其中μ(x)\m
gaussian用法 matlab_如何使用GPML（Matlab）进行二维高斯过程回归？
weixin_39685836的博客
12-19 613
I have an Nx2 input matrix called X. I also have the output values Y which is a vector Nx1. I create some data to test as follows:Xtest=linspace(x_min,x_max,n);Ytest=linspace(y_min,y_max,n);So, matrix...
高斯过程是什么？从视觉上理解机器学习中的高斯过程——Gaussian Process
一个苦逼研究僧的博客
10-30 3255
高斯过程Gaussian Process是什么？
Gaussian Process
07-28
高斯过程（Gaussian Process）是一种概率模型，常用于回归和分类问题。它可以看作是一组随机变量的无限集合，其中任意有限个变量的联合分布服从多元正态分布。高斯过程的核心思想是通过观测数据来推断随机函数的分布，从而实现对新数据的预测。 在回归问题中，高斯过程可以用来建模输出变量与输入变量之间的非线性关系。它假设输出变量服从多元正态分布，且均值函数由输入变量决定，协方差函数描述了不同输入变量之间的相关性。通过对已观测数据进行学习，可以估计出均值函数和协方差函数的参数，从而对新的输入变量进行预测。 在分类问题中，高斯过程可以用来建模类别变量与输入变量之间的关系。通过将类别变量视为隐变量，可以构建一个概率模型，进而进行分类任务。 总的来说，高斯过程是一种基于概率的非参数模型，具有灵活性和强大的预测能力。它被广泛应用于机器学习、统计学和优化等领域。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值