高斯过程回归
高斯过程:
高斯过程指的是一组随机变量的集合，这个集合里面的任意有限个随机变量都服从联合正态分布,可以理解对于一个函数f(x),他的每个自变量x对应的f(x)是不同的高斯分布，那么针对每个x，对f(x)采样，当然就会有不同的函数曲线了，所以有如下曲线图。那么为什么他的曲线，当然不可能采样所有的x，所以采样的x是有限的，那么为什么曲线是连续的，是因为高斯过程是这样定义的
G
P
∼
(
m
(
x
)
,
k
(
x
,
x
′
)
)
GP \sim (m(x),k(x,x'))
GP∼(m(x),k(x,x′)) ,其中m(x)代表均值函数，
k
(
x
,
x
′
)
k(x,x')
k(x,x′)对应协方差计算函数，由于这个函数的性质，所以高斯过程的曲线是连续的d。高斯过程回归就是通过已知的采样点集合
{
(
x
1
,
y
1
)
,
(
x
2
,
y
2
)
.
.
.
(
x
n
,
y
n
)
}
\{(x_1,y_1),(x_2,y_2)...(x_n,y_n)\}
{(x1,y1),(x2,y2)...(xn,yn)}将高斯整个高斯过程的概率分布求出来，同时预测新的
x
∗
x^*
x∗对应的
y
∗
y^*
y∗
从上述图像我么可以看出高斯过程对应的函数不是一个线性函数了，故引入 ϕ ( x ) \phi(x) ϕ(x), ϕ ( x ) \phi(x) ϕ(x)是对x的非线性转换，对于无噪声模型来说，高斯回归模型就是是这个 f ( x ) = ϕ T ( X ) W f(x)=\phi^T(X)W f(x)=ϕT(X)W
那么根据贝叶斯回归，很容易有如下结论贝叶斯回归参考我的另一篇博客贝叶斯回归
f
(
x
∗
)
∣
X
,
Y
,
x
∗
∼
N
(
ϕ
T
（
x
∗
）
u
w
,
ϕ
T
（
x
∗
）
Σ
w
ϕ
（
x
∗
）
)
μ
w
=
σ
−
2
A
−
1
ϕ
T
(
X
)
Y
,
σ
w
=
A
−
1
，
其
中
A
=
σ
−
2
X
T
X
+
Σ
−
1
f(x^*)|X,Y,x^* \sim N(\phi^T（x^*）u_w,\phi^T（x^*）\Sigma_w\phi（x^*）) \\ \mu_w=\sigma^{-2}A^{-1}\phi^T(X)Y,\\ \sigma_w=A^{-1}\\， 其中A=\sigma^{-2}X^TX +\Sigma^{-1}
f(x∗)∣X,Y,x∗∼N(ϕT（x∗）uw,ϕT（x∗）Σwϕ（x∗）)μw=σ−2A−1ϕT(X)Y,σw=A−1，其中A=σ−2XTX+Σ−1
那么我们把
A
−
1
A^{-1}
A−1求出来，求出来之后代入到式子中，最后得到
f
(
x
∗
)
∣
X
,
Y
,
x
∗
∼
N
(
ϕ
T
(
x
∗
)
Σ
ϕ
（
x
∗
）
ϕ
T
(
k
+
σ
2
)
−
1
Y
,
ϕ
T
(
x
∗
)
Σ
ϕ
（
x
∗
）
−
ϕ
T
(
x
∗
)
Σ
ϕ
T
（
X
）
(
k
+
σ
2
I
)
−
1
ϕ
（
X
）
Σ
ϕ
T
(
x
∗
)
)
,
其
中
k
=
ϕ
（
X
）
Σ
ϕ
T
（
X
）
f(x^*)|X,Y,x* \sim N(\phi^{T}(x^*)\Sigma\phi（x^*）\phi^T(k+\sigma^2)^{-1}Y,\\ \phi^{T}(x^*)\Sigma\phi（x^*）-\phi^{T}(x^*)\Sigma\phi^T（X）(k+\sigma^2I)^{-1}\phi（X）\Sigma \phi^{T}(x^*)),\\ 其中k=\phi（X）\Sigma\phi^T（X）
f(x∗)∣X,Y,x∗∼N(ϕT(x∗)Σϕ（x∗）ϕT(k+σ2)−1Y,ϕT(x∗)Σϕ（x∗）−ϕT(x∗)ΣϕT（X）(k+σ2I)−1ϕ（X）ΣϕT(x∗)),其中k=ϕ（X）ΣϕT（X）
因为均值和方差中的只涉及到
ϕ
(
X
)
Σ
ϕ
(
X
′
)
\phi(X)\Sigma\phi(X')
ϕ(X)Σϕ(X′)。所以可以引入核技巧，
k
(
X
,
X
′
)
=
ϕ
(
X
)
Σ
ϕ
(
X
′
)
k(X,X')=\phi(X)\Sigma\phi(X')
k(X,X′)=ϕ(X)Σϕ(X′),所以只要定义一个核函数，就可以求得最终的
f
(
x
∗
)
∣
X
,
Y
,
x
∗
f(x^*)|X,Y,x^*
f(x∗)∣X,Y,x∗概率分布。
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
