在准备清华复试题的时候看到一个提问:
what is gaussion process?
第一次听说“高斯过程”,就去找了相关教程来看:
高斯过程 Gaussian Processes 原理、可视化及代码实现
看完以后大致了解了高斯过程,在此通过一些问题阐述一下个人对高斯过程的理解:
问题:描述一批样本为什么不直接用多元正态分布(正态分布就是高斯分布),空间的样本点来描述(均值和方差都可以很直观的描述这批样本的分布),反而要另辟蹊径用一条函数去表示一个样本点,多条函数来描述一批样本。
答:有三个原因:
1. 如果要采样的维度变多,那么采样次数超过三维,导致空间超过3维以后,多元正态分布图像就不直观了,而用高斯过程就依然直观,这是因为:高斯过程的函数中,离散的自变量就是一个个的采样点,自变量有多少个离散点,正态分布就有多少维度。使用函数表示样本,那么样本的每个维度的信息都能被直观的表示出来。就像一支股票在一天的24h(1h一次采样)的24次变化。
(图片摘自以上博客)
2. 即使不考虑样本的直观性,不管样本有多少个维度,当需要用这一批样本去预测一个不存在的维度的时候,原来的多元正态分布是无法做到的;但是在高斯过程中可以做到,因为采样函数的自变量是维度,当拟合出采样曲线以后,很自然就可以预测到其它维度的函数值。就比如已知一类股票在一天23h的变化趋势,就可以预测到第24h股票的走势。
3. 高斯过程中,均值的置信区间、后验修正过程相比多元正态分布图也更直观,更便于进行预测。如下图,浅蓝色区域表示均值95%的置信区间,这是一个不断添加样本修正先验估计的过程。
(图片摘自以上博客)