文章目录
Introduction
要了解GP的本质及其描述方法。将GP和贝叶斯概率结合在一起,可以构造强大的数学模型。高斯过程的一些优势:
- GP属于无参数模型,相对解决问题的复杂度及与其它算法比较减少了算法计算量。
- GP可以解决高维空间(实际上是无限维)的数学问题,可以面对复杂的数学问题。
- 结合贝叶斯概率算法,可以实现通过先验概率,推导未知后验输入变量的后验概率。由果推因的概率。
- GP观测变量空间是连续域,时间或空间。
- GP观测变量空间是实数域的时候,我们就可以进行回归而实现预测。
- GP观测变量空间是整数域的时候(观测点是离散的),我们就可以进行分类。结合贝叶斯算法甚至可以实现单类分类学习(训练),面对小样本就可以实现半监督学习而后完成分类。在异常检测领域很有用,降低打标签成本(小样本且单类即可训练模型)。
高斯分布
在这里我们再简单分析一下高斯分布吧。
一维高斯分布
定义:
若随机变量 X X X服从一个位置参数为 μ \mu μ,尺度参数为 σ \sigma σ的概率分布,记为:
X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^{2}) X∼N(μ,σ2)
则其概率密度函数为:
f ( x ) = 1 σ 2 π e − ( x − μ ) 2 2 σ 2 f(x) = \frac{1}{\sigma \sqrt{2\pi}}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}} f(x)=σ2π1e−2σ2(x−μ)2
正态分布的期望值 μ \mu μ等于位置参数,决定了分布曲线的位置; 其标准差 σ \sigma σ等于尺度参数,决定了分布曲线的幅度。
正态分布中一些值得注意的现象:
-
密度函数关于平均值 μ \mu μ对称。
-
平均值与它的众数以及中位数同一数值。
-
函数曲线下68.268949%的面积在平均数左右的一个标准差范围内。
-
95.449974%的面积在平均数左右两个标准差2 \sigma的范围内。
-
99.730020%的面积在平均数左右三个标准差3 \sigma的范围内。 - 99.993666%的面积在平均数左右四个标准差4 \sigma的范围内。
正态分布的一些性质:
- 如果 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^{2}) X∼N(μ,σ2), 且a与b为实数,那么 a X + b ∼ N ( a μ + b , ( a σ ) 2 ) aX+b \sim N(a\mu+b, (a\sigma)^{2}) aX+b∼<