浅析高斯过程回归（Gaussian process regression）

最新推荐文章于 2024-04-20 10:11:04 发布

MU大尧

最新推荐文章于 2024-04-20 10:11:04 发布

阅读量7.4w

点赞数 67

分类专栏： gaussian process regression 文章标签： gaussian process regression gaussian process

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_20195745/article/details/82721666

版权

前言

高斯过程回归的和其他回归算法的区别是：一般回归算法给定输入X，希望得到的是对应的Y值，拟合函数可以有多种多样，线性拟合、多项式拟合等等，而高斯回归是要得到函数f(x)的分布，那么是如何实现的呢？

对于数据集 $D:(X,Y)$ ，令 $f(x^{_{i}})=y_{i}$ ，从而得到向量 $f=[f(x_1),f(x_2),...,f(x_n)]$ , 将所需要预测的 $x_{i}$ 的集合定义为 $X*$ ，对应的预测值为 $f*$ , 根据贝叶斯公式有：

$p(f*|f)=\frac{p(f|f*)p(f*)}{p(f)}=\frac{p(f,f*)}{p(f)}$

高斯回归首先要计算数据集中样本之间的联合概率分布, $f\sim N(\mu ,K)$ ， $\mu$ 为 $f(x_{1}),f(x_{2}),...,f(x_{n})$ 的均值所组成的向量，K为其协方差矩阵，再根据需要预测的 $f*$ 的先验概率分布 $f*\sim N(\mu* ,K*)$ 与 $f\sim N(\mu ,K)$ ，来计算出 $f*$ 的后验概率分布。

其中共有两个核心问题：（1）如何计算和方差矩阵（2）如何具体如何计算 $f*$ 的概率分布。

{ $x_1,x_2,...,x_n$ }的协方差矩阵，一定要注意是自变量x的协方差矩阵，因为我们在进行对 $x*$ 对应的 $f(x*)$ 的预测时，是依据 $x*$ 和{ $x_1,x_2,...,x_n$ }之间的协方差，来判断其y值之间的差异性，从而基于概率公式得出预测值。

协方差矩阵的计算

定义函数 $m(x)=E(f(x))$ ， $k(x,x^{^{T}})=K$ ，则由概率论基本公式可得：

$f(x)\sim N(m(x),k(x,x^{^{T}}))\\$

$m(x)=E(f(x))$

$k(x,x^{^{T}})=E(f(x)-m(x)(f(x)-m(x))^{T})$

利用这样的原始公式来计算协方差矩阵K是十分不方便的，我们先来理解一下高斯过程是如何利用Gaussian distribution 来描述样本的，先来看图1和图2:

最低0.47元/天解锁文章

关注

67
点赞
踩
432

收藏

觉得还不错? 一键收藏
7
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论 7

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。