高斯过程回归

参考：https://www.cnblogs.com/tiandsp/p/14729018.html

1. 训练和预测： 高斯过程回归（GPR）的基本思想是使用已知的训练输入 x 和对应的训练输出 y 来构建一个模型，然后使用该模型来对新的输入 x1 进行预测，得到预测输出 y1 。
2. 计算距离矩阵： 在GPR中，通常使用核函数来计算两个数据点之间的相似性或相关性。距离矩阵 K、Ks 和 Kss 分别对应于训练数据点之间的相似性、训练数据点和预测数据点之间的相似性，以及预测数据点之间的相似性。这些矩阵用于计算模型的均值和方差。
3. 均值和方差的计算： 高斯过程回归的关键是计算均值和方差。对于给定输入 x1 ，均值和方差的计算如下：
   $\mu (x1)=K_s^{\top }(K+\delta I{)}^{-1}y$
   $\sigma (x1)=K_{ss}-K_s^{\top }(K+\delta I{)}^{-1}{K}_s$
   其中，ks是包含 x 和 x1之间的相似性的向量，kss是 x1之间的相似性，I是单位矩阵。
4. 最大化边缘对数似然（Marginal Log-likelihood）来找到最优的参数： 似然估计通常是用于估计核函数的超参数和噪声水平参数。这些参数可以通过最大似然估计来确定，以使GPR模型与训练数据最拟合。通过数值优化方法（如梯度下降）来找到最优参数值。
   边缘对数似然：
   $logp(y|x,l)=log\mathrm{N}(0,K_{ss}(\sigma ,l))=-\frac{1}{2}{y}^{\top }{K}_{ss}^{-1}y-\frac{1}{2}log|K_{ss}|-\frac{N}{2}log(2\pi )$
   参考：https://zhuanlan.zhihu.com/p/75589452
   PS：这篇写的更详细