基于近似生成模型的稀疏高斯过程简析

基于近似生成模型的稀疏高斯过程模型构建

基于目前阅读的文章[1]的理解，这里简单介绍一下如何基于近似生成模型对高斯过程进行简化。
这里不对高斯过程进行详细的介绍，主要是介绍如何通过近似生成模型来简化高斯的运算，从而实现稀疏高斯过程的建模。

1. 动机分析

这部分主要说明一下为什么会考虑到用近似生成方法来构建高斯过程模型。

我们假设一个数据集$S$有$N$个样本, S = { x n , y n } ∣ n = 1 N S=\left \{ x_n,y_n\right \}|_{n=1}^{N} S={xn​,yn​}∣n=1N​。为了描述的更有泛化性，我们认为$x_i\in {\mathbb{R}}^a$，$y_i\in \mathbb{R}$。首先我们直接给出高斯过程的公式描述(这里不细讲高斯过程是怎样的)：
$$p(f|\theta )=GP(0,k_{\theta })$$也就是$f\sim N(0,k_{\theta })$。其中$k_{\theta }$是基于某个核函数的协方差矩阵。注意，这里的$f$是$f(x)$的简写，因此这个$f$是一个关于$x$的函数(后续会将$f(x_i)$简写为$f_i$)。此时假设数据集中的数据都是服从这个高斯过程的（这是先验假设）。此时，$x$到$y$的映射关系就可以写成$p(y_n|f_n,\theta )\sim N(f,{\sigma }_y^2)$。这里的$\theta$就是高斯分布中的均值，方差以及核函数中的超参数等一些列参数。结合这样的先验假设以及$x$和$y$之间的映射关系，通过贝叶斯公式我们可以得到这样一个联合分布：
$$p(f,y|X,\theta )=p(f|X,\theta )\prod _{n=1}^{N}p(y_n|f_n,\theta )$$
通过对上述的联合分布进行边缘分布的积分操作，我们可以实现对新来的点的预测。但是，在进行预测或是分类之前需要先获得模型参数。然而在面对大量训练数据的情况下，直接对上式进行极大似然估计来获得参数值是不太现实的。主要原因是在具体运算时，由于$p(f|X,\theta )$先验的存在，这个似然函数可能是非解析的从而导致了数学分析上的困难。其次，由于在对目标函数进行求导时需要对内部核函数$k(X,X)$进行转至求导等矩阵计算，这就使得计算的复杂度达到了$O(N^3)$的程度。这两个原因导致了在面对大量数据时我们无法直接对上式进行直接的优化分析。因此需要通过一种方法来化简这种模型，从而实现参数的求解。

2. 近似生成模型的应用

2.1. 先验拆分

这里首先解释一个稀疏高斯过程中多次出现的概念，原文中称作pseudo-points。这个词没有具体的中文翻译，因此这里我把它理解为“表征点”。表征点在这里起到的作用是降低训练的数据量，一般会有表征点的数量$M\ll N$的要求。研究人员希望借助这些点来训练模型，并且模型的精度要尽可能和利用全数据集训练的模型的精度接近。
这里，我们假设表征点集为 S u = { z m , u m } ∣ m = 1 M S_u = \left \{ z_m,u_m\right \}|_{m=1}^{M} Su​={zm​,um​}∣m=1M​，并定义一个数据集 f a l l = { u , f , f a l l ≠ u , f } f_{all}=\left \{ \mathrm {u},\mathrm {f}, f_{all\ne\mathrm {u,f}}\right \} fall​={u,f,fall​=u,f​}，其中 $\mathrm{f}$ 表示训练数据中的 目标值（也就是GP过程中的function values），而$f_{all\ne \mathrm{u},\mathrm{f}}$则表示除了$\mathrm{u}$和$\mathrm{f}$以外的其他数据（可以理解为测试数据中的y值）。
根据第一节中的分析，我们知道整个求解参数过程中难点最多的地方在先验假设$p(f|X,\theta )$上。因此我们可以将这个先验依据概率公式的乘法定律展开成以下三个分布相乘：
$$p(f|\theta )=p(\mathrm{u}|\theta )p(\mathrm{f}|\mathrm{u},\theta )p(f_{all\ne \mathrm{u},\mathrm{f}}|\mathrm{u},\mathrm{f},\theta )$$
现在我分别解释一下上述三个分布的含义。首先， $p(\mathrm{u}|\theta )$ 代表了表征点的分布特性，因为表征点就是从原始数据中直接选择得到的，因此分布特性不会发生变化，这一部分的含义也可以随意理解。其次，$p(\mathrm{f}|\mathrm{u},\theta )$代表了在确定表征点后，原始数据中训练数据的分布特性。这里可以理解成，利用数据$\mathrm{u}$去训练高斯过程$p$，然后去预测$\mathrm{f}$的值。因此这一部分其实就决定了所选择的表征点能否很好的还原原始训练数据。最后，$p(f_{all\ne \mathrm{u},\mathrm{f}}|\mathrm{u},\mathrm{f},\theta )$这里和上一点的理解很像，这一点就是，当选定了训练数据，并且给定了（一般是从训练数据中选择出的）表征点之后，利用模型$p$对$f_{all\ne \mathrm{u},\mathrm{f}}$数据的值进行预测。其实这里就是利用高斯过程进行预测时所需要的做的工作了。综上，我们可以看到，这个方法其实就是将模型训练以及模型预测这两步，从先验分布中分别拆分开了。

2.2. 关系简化思想与过程

所谓关系简化，其实就是认为表征点与训练数据之间在某些时候是不相关的（严格来说，由于表征点就是从训练集中选出来的，因此这个假设是不应该存在的。但是仅从简化计算上来说，可以这么假设）。

2.2.1 训练过程的简化

基于上述假设，我们可以构造出一个分布$q(\mathrm{f}|\theta )$，去近似并替代原始的先验分布$p(\mathrm{f}|\theta )$。具体就指代的是对$p(\mathrm{f}|\theta )$中的后两个分布公式，$p(\mathrm{f}|\mathrm{u},\theta )$和$p(f_{all\ne \mathrm{u},\mathrm{f}}|\mathrm{u},\mathrm{f},\theta )$分别进行近似。看到这里，不免产生疑问。
1.为什么我们要做这样的假设？
2.这个假设和我们要构造的分布之间有什么必然的联系么？
为了更好的说明上面这个问题，这里会举一个简单的例子。假设$N=4$，那么我们将高斯过程具体写出来可以得到：
$$[y_1,y_2,y_3,y_4{]}^T\sim N(0，K_{44})$$，$K_{44}$表示$\left[\begin{array}{cccc}{k}_{11}& k_{12}& k_{13}& k_{14}\\ k_{21}& k_{22}& k_{23}& k_{24}\\ k_{31}& k_{32}& k_{33}& k_{34}\\ k_{41}& k_{42}& k_{43}& k_{44}\end{array}\right]$，其中$k_{ij}$表示$k(x_i,x_j)$,
首先需要明确的是，上面这个分布并不是简单的由$p(y_1|\theta )\times p(y_2|\theta )\times p(y_3|\theta )\times p(y_4|\theta )$得到的。这也侧面说明在最开始的算法中，如果在没有给定任何条件的情况下，每个样本点不一定是相互独立的。那么我们现在先做一个假设，假设$y_1,y_2,y_3,y_4$是在给定了某个条件后是相互独立的，那么这样一来，上面的式子就可以写成这些变量的乘积，也就变成了下面这种形式（因为重点在于协方差的变化，因此后面就只写协方差矩阵了）：
$$\left[\begin{array}{cccc}{k}_{11}& 0& 0& 0\\ 0& k_{22}& 0& 0\\ 0& 0& k_{33}& 0\\ 0& 0& 0& k_{44}\end{array}\right]$$可以看到只剩下对角矩阵了。此时，对这个矩阵无论是求导还是求积工作的运算复杂度都会降低。那么基于这个思想，如果我们构造的分布能够通过联乘来表示，那么就会使得协方差矩阵变成对角的形式。到这里，就回答了第一点，为什么要有这样的假设。
既然知道了我们希望把函数构造成什么样了，那接下来我们就可以把要构造的函数形式写下来了：
$$p(\mathrm{f}|\mathrm{u},\theta )\approx q(\mathrm{f}|\mathrm{u},\theta )=\prod _{b=1}^{B}N(f_b;K_{f_b,\mathrm{u}}{K}_{\mathrm{u},\mathrm{u}}^{-1}\mathrm{u},\alpha D_{f_b{f}_b})$$
那么，这个式子就代表了一个条件独立的假设。即：当给定表征点的条件下，整个过程可以看成是B个独立的分布联乘得到的。因此，上式中的B，就代表着我们愿意将整个数据视作是为多少个独立分布组成的。最简单的例子就是在上面的例子中将B设置成4。这里也就回答了这个假设和我们要构造的函数有什么联系这个问题。（需要注意，每个块都需要至少存在一个表征点，也就是说至少需要$M\ge B$个表征点。因为只有这样才能保证每个块都处在给定了表征点的条件下的。）
这里有一点，其实就是这个假设只在块与块之间成立，但是每个数据块之内，各个样本之间依然存在着联系。这里就可以按照上面的那个例子理解。比如，我们将4个样本划分为2块，那么原数据的协方差矩阵可以写成如下分块矩阵：
$$\left[\begin{array}{cc}{\hat{K}}_{22}& 0\\ 0& K_{22}\end{array}\right]$$
可以看到，第一块数据和第二块数据之间没有相关性（因为非对角线的协方差矩阵值为0）。如果我们将第一块数据的协方差矩阵展开，就可以得到下式：
$$\left[\begin{array}{cc}{k}_{ff}& k_{f{\mathrm{u}}_1}\\ k_{{\mathrm{u}}_{1}f}& k_{{\mathrm{u}}_1{\mathrm{u}}_1}\end{array}\right]$$
可以看到，非对角线上的协方差值不为零，因此这个块内的1号样本与2号样本之间存在着相关性。
总结来说，就是这个假设不是全局成立，它只是人为的规定了在给定表征点的条件下，有多少数据（块）是允许互相独立的。当然，有的学者就考虑采用$B=N$，这就是另一种方法了，这里不赘述。
所以，综上我们可以借助这种假设，将复杂的高斯过程先验分布拆成多个高斯的联乘。直观来看，每个高斯块内部的计算量最多也就只有“$f$的样本数”$\times$“$f$的样本数”，并且这$f$是分块后的数据量，例如，将$S$平均分成了$B$块，那么每块中的$f$数据量就只有$\frac{N}{B}$这么多。因此，这样简化可以大大降低计算复杂度，从而实现一种稀疏的计算方式。

2.2.2 预测过程的简化

预测步实际上就是求解$p(f_{all\ne \mathrm{u},\mathrm{f}}|\mathrm{u},\mathrm{f},\theta )$的过程，如果这里有$\mathrm{f}$的存在，那么在协方差矩阵中势必存在$\mathrm{f}$的计算。因此，这里的简化，其实就是去掉“给定$\mathrm{f}$”的条件。
因此，这里我们假设表征点$\mathrm{u}$能够完全描述训练数据$\mathrm{f}$中的信息，那么这两个条件，“给定$\mathrm{u}$”和“给定$\mathrm{f}$”，是等价的。因此，在这样的假设下，我们可以直接将原分布不变，将$\mathrm{f}$直接从计算中去掉。即：
$$q(f_{all\ne \mathrm{u},\mathrm{f}}|\mathrm{u},\theta )\approx p(f_{all\ne \mathrm{u},\mathrm{f}}|\mathrm{u},\mathrm{f},\theta )$$

2.3. 简化结果以及求解简析

结合上述的简化过程，最终我们可以把高斯过程的先验由
$$p(f|\theta )=p(\mathrm{u}|\theta )p(\mathrm{f}|\mathrm{u},\theta )p(f_{all\ne \mathrm{u},\mathrm{f}}|\mathrm{u},\mathrm{f},\theta )$$
简化为：
$$q(f|\theta )=p(\mathrm{u}|\theta )q(\mathrm{f}|\mathrm{u},\theta )q(f_{all\ne \mathrm{u},\mathrm{f}}|\mathrm{u},\theta )$$
因此，主体公式
$$p(f,y|X,\theta )=p(f|X,\theta )\prod _{n=1}^{N}p(y_n|f_n,\theta )$$
也可以简化为：
$$q(f,y|X,\theta )=q(f|X,\theta )\prod _{n=1}^{N}p(y_n|f_n,\theta )$$
同原始模型一样，要求得参数$\theta$的最优值，就只需要对上述化简后的公式求$f$的积分然后应用极大似然估计即可。具体的结果在论文中有给出，这里不进行赘述。

3. 参考文献

[1]. Bui, Thang D (2017年01月01日). “A Unifying Framework for Gaussian Process Pseudo-Point Approximations using Power Expectation Propagation”. Journal of machine learning research (1532-4435), 18