稀疏变分高斯过程【超简单，全流程解析，案例应用，简单代码】

简介

稀疏变分高斯过程（Sparse Variational Gaussian Processes, SVGP）是一种高效的高斯过程（GP）近似方法，它使用一组称为引入点的固定数据点来近似整个数据集。这种方法大大减少了高斯过程模型的计算复杂度，使其能够适用于大数据集。下面是SVGP的详细数学过程。

1. 定义和目标

在标准高斯过程中，给定数据集 $\{({\mathbf{x}}_i,y_i){\}}_{i=1}^N$，目标是学习一个映射 $f$ ，其中 $f\sim \mathcal{G}\mathcal{P}(m,k)$，$m$ 是均值函数，$k$ 是协方差函数。SVGP的目标是使用一组较小的引入点 Z = { z i } i = 1 M \mathbf{Z} = \{\mathbf{z}_i\}_{i=1}^M Z={ zi​}i=1M​ （其中 $M\ll N$）来近似这个映射。

2. 协方差函数与引入点

引入点 $\mathbf{Z}$ 被用于构建一个近似的协方差矩阵 ${\mathbf{K}}_{MM}$，其中包含引入点之间的协方差。实际的观测点 $\mathbf{X}$ 与引入点之间的协方差表示为 ${\mathbf{K}}_{NM}$。

3. 变分分布

在SVGP中，我们设定变分分布 $q(f)$ 来近似真实的后验分布。变分分布假设形式为:
$$q(\mathbf{f})=\int p(\mathbf{f}|\mathbf{u})q(\mathbf{u})d\mathbf{u}$$
其中 $\mathbf{u}$ 是在引入点上的函数值，$q(\mathbf{u})=\mathcal{N}(\mathbf{u}|\mathbf{m},\mathbf{S})$ 是定义在引入点上的高斯分布，具有均值 $\mathbf{m}$ 和协方差矩阵 $\mathbf{S}$。

4. 近似后验参数的计算

变分参数 $\mathbf{m}$ 和 $\mathbf{S}$ 通过最小化KL散度（Kullback-Leibler divergence）来学习，这是变分推断中的常用方法。这要求我们计算如下的期望对数似然和KL散度：

$$\text{ELBO}={\mathbb{E}}_{q(\mathbf{f})}[\log p(\mathbf{y}|\mathbf{f})]-\text{KL}(q(\mathbf{u})\Vert p(\mathbf{u}))$$

其中，第一项是在变分分布下数据的对数似然的期望，第二项是变分分布和先验分布之间的KL散度。

5. 计算具体步骤

• 计算协方差矩阵 ${\mathbf{K}}_{MM}$, ${\mathbf{K}}_{NM}$ 和 ${\mathbf{K}}_{NN}$。
• 变分分布更新：通过优化ELBO来学习变分参数 $\mathbf{m}$ 和 $\mathbf{S}$。
• 后验均值和协方差的更新：在测试点 ${\mathbf{X}}_{\ast }$ 上的后验均值和方差可以通过变分参数和核矩阵计算得到。

6. 优势与应用（时间复杂度）

SVGP减少了与 $N$ 成二次方的计算复杂度，变为与 $M$ 成二次方的计算复杂度，其中$M$ 通常远小于 $N$。这使得SVGP可以应用于大规模数据集的概率建模和推断。

应用案例

让我们通过一个具体的数值例子来解释稀疏变分高斯过程（SVGP）的操作和计算。假设我们有一个简单的一维回归任务，数据集由以下观测点构成：

• 训练数据点 $X$：$$\mathbf{X}=[0.5,1.5,2.5,3.5,4.5]$$
• 对应的目标值 $y$：