论文笔记 Dependent Gaussian Processes 相关高斯过程

0.摘要

高斯过程通常根据它们的协方差函数进行参数化。 然而，这使得处理多个输出变得困难，因为确保协方差矩阵是正定的是有问题的。 另一种表述是将高斯过程视为与平滑内核卷积的白噪声源，并改为对内核进行参数化。 使用它，我们扩展高斯过程以处理多个耦合输出。

1.介绍

高斯过程回归具有许多理想的特性，例如易于获得和表达预测中的不确定性，通过简单的参数化捕获各种行为的能力，以及自然的贝叶斯解释 [15,4,9]。 正因为如此，它们被建议作为非线性回归 [8, 18] 中监督神经网络的替代品，扩展到处理分类任务 [11, 17, 6]，并以各种其他方式使用（例如 [ 16、14]）。 高斯过程 (GP) 作为一组联合高斯随机变量，完全由协方差矩阵表征，其中项由协方差函数确定。 传统上，此类模型是通过参数化协方差函数（即指定任意两个输入向量的输出值协方差的函数）来指定的。 一般来说，这需要是一个正定函数，以确保协方差矩阵的正定性。

大多数 GP 实现仅对单个输出变量进行建模。 处理多个输出的尝试通常涉及对每个输出使用独立的模型——一种称为多重克里金法 [18] 的方法——但此类模型无法捕获共变（非独立的，耦合的）输出中的结构。 例如，考虑图 2 顶部所示的两个紧密耦合输出，其中一个输出只是另一个输出的移位版本。 这里我们对输出 1 有详细的了解，但是输出 2 的采样是稀疏的。 将输出视为独立的模型无法利用它们明显的相似性——直观地说，我们应该使用从输出 1 和 2 中学到的知识来预测输出 2。

联合预测是可能的（例如 co-kriging [3]），但存在问题，因为尚不清楚应如何定义协方差函数 [5]。尽管有许多已知的正定自协方差函数（例如高斯和许多其他函数 [1, 9]），但很难定义导致正定协方差矩阵的交叉协方差函数。与神经网络建模形成对比，其中多个输出的处理是常规的。直接参数化协方差函数的替代方法是将 GP 视为稳定线性滤波器的输出。对于线性滤波器，响应输入 x(t) 的输出为 $y(t)=h(t)☆x(t)={\int }_{-\infty }^{+\infty }h(t-\tau )x(\tau )d\tau$ ，其中 h(t ) 定义了滤波器的脉冲响应， $☆$ 表示卷积。假设线性滤波器是稳定的并且x(t)是高斯白噪声，那么输出过程y(t)必然是高斯过程。还可以通过一组 M × N 脉冲响应来表征具有 M 个输入和 N 个输出的 p 维稳定线性滤波器。一般来说，得到的 N 个输出是相关的高斯过程。现在，我们可以通过参数化多输出线性滤波器的脉冲响应集，并从我们观察到的数据中推断参数值来对多个相关输出进行建模。我们现在指定和参数化脉冲响应h(t)，而不是指定和参数化正定协方差函数。唯一的限制是滤波器是线性且稳定的，这是通过要求脉冲响应绝对可积来实现的。

通过用高斯噪声刺激线性滤波器来构造 GP 等效于通过核卷积构造 GP。 通过将连续白噪声过程 $X(s)$ 与平滑核 $h(s)$ 进行卷积，可以在区域 $S$ 上构建高斯过程 $V(s)$，对于 $s\in S$，$V(s)=h(s)\ast X(s)$ ，[7]。 对此可以添加第二个白噪声源，代表测量不确定性，这共同给出了观测 Y 的模型。 GP 的这种视图以图形形式显示在图 1(a) 中。 卷积方法已被用于制定灵活的非平稳协方差函数 [13, 12]。 此外，可以通过假设一个共同的潜在过程 [7] 将这个想法扩展到对多个依赖输出过程进行建模。 例如，对于 $s\in S0$，两个依赖进程 $V1(s)$ 和 $V2(s)$ 由对 $X(s)$ 的共享依赖构成，如下所示
$V_1(s)={\int }_{S_0\cup S_1}{h}_1(s-\lambda )X(\lambda )d\lambda$ 并且$V_2(s)={\int }_{S_0\cup S_2}{h}_2(s-\lambda )X(\lambda )d\lambda$
其中 $S=S_0\cup S_1\cup S_2$ 是不相交子空间的并集。 $V_1(s)$ 依赖于 $X(s)$ , $s\in S1$ 但不依赖于 $X(s),$ s ∈ S2。 类似地，$V_2(s)$ 依赖于 $X(s)$，$s\in S_2$ 但不依赖于 $X(s)$，$s\in S1$。 这允许 $V1(s)$ 和 $V2(s)$ 拥有独立的组件。

2.两个相关输出

在区域$R^p$中，考虑两个输出：$Y_1(s),Y_2(s),s\in R^p$,对于输出1我们有$N_1$个观测值，输出2有$N_2$个观测值，用以下下表示：$D_1=${$s_{1,i},y_{1,i}$}${}_{i=1}^{N_1}$、$D_2=${$s_{2,i},y_{2,i}$}${}_{i=1}^{N_2}$，我们希望从数据$D=${$D_1,D_2$}中学习模型以预测$Y_1(s^{\prime })$或者$Y_2(s^{\prime })$如图1（b）我们可以将每个输出建模为三个平稳高斯过程的线性和。其中之一 (V) 来自该输出特有的噪声源，在与核 h 的卷积下。 第二个 (U ) 类似，但来自影响两个输出的单独噪声源 X0（尽管通过不同的内核 k）。 第三个是和以前一样的加性噪声。

因此我们有$Y_i(s)=U_i(s)+V_i(s)+W_i(s)$其中，$W_i(s)$是方差为${\sigma }_i^2$的平稳高斯白噪声，$X_0(s),X_1(s),X_2(s)$是独立的平稳高斯白噪声，$U_1(s),U_2(s),V_1(s),V_2(s)$是由$U_i(s)=k_i(s)☆X_0(s)$,$V_i(s)=h_i(s)☆X_i(s)$获得的高斯过程。

其中 $k_1,k_2,h_1,h_2$ 是参数化的高斯核，其中 $k_1(s)=v_{1}exp(-0.5\ast s^T{A}_{1}s),k_2(s)=v_{2}exp(-0.5\ast (s-\mu {)}^T{A}_1(s-\mu )),h_i(s)=w_{1}exp(-0.5\ast s^T{B}_{i}s),$注意 $k2(s)$从零偏移 $\mu$，以允许对相互耦合和平移的输出进行建模。

对于任意输入 $s_a$ 和 $s_b$ 之间的给定间隔 $d$，我们希望导出定义输出 $i$ 和 $j$ 之间的自协方差 $(i=j)$ 和交叉协方差 $(i\ne j)$ 的函数集 $C_{ij}^Y(d)$。 通过求解卷积积分，$C^Y(d)$ 可以表示为闭合形式 [2]，并且完全由高斯核的参数和噪声方差 ${\sigma }_1^2$ 和 ${\sigma }_2^2$ 确定，如下所示：
$C_{11}^Y=C_{11}^U(d)+C_{11}^V(d)+{\delta }_{ab}{\sigma }_1^2$

$C_{12}^Y=C_{12}^U(d)$

$C_{22}^Y=C_{22}^U(d)+C_{22}^V(d)+{\delta }_{ab}{\sigma }_2^2$

$C_{21}^Y=C_{21}^U(d)$
其中,

$C_{ii}^U(d)=\frac{{\pi }^{(\frac{p}{2})}{v}_i^2}{\sqrt{|A_i|}}exp(-\frac{1}{4}{d}^T{A}_{i}d)$

$C_{12}^U(d)=\frac{{\pi }^{(\frac{p}{2})}{v}_i{v}_2}{\sqrt{|A_1+A_2|}}exp(-\frac{1}{4}(d-\mu {)}^T{A}_i(d-\mu ))$

$C_{21}^U(d)=\frac{{\pi }^{(\frac{p}{2})}{v}_i{v}_2}{\sqrt{|A_1+A_2|}}exp(-\frac{1}{4}(d+\mu {)}^T{A}_i(d+\mu ))=C_{12}^U(-d)$

$C_{ii}^V(d)=\frac{{\pi }^{(\frac{p}{2})}{w}_i^2}{\sqrt{|B_i|}}exp(-\frac{1}{4}{d}^T{B}_{i}d)$

且，$\Sigma =A_1(A_1+A_2{)}^{-1}{A}_2=A_2(A_1+A_2{)}^{-1}{A}_1$
给定 $C_{ij}^Y(d)$之后，我们构建协方差矩阵$C11,C12,C21,C22$如下所示：
$Cij=\left(\begin{array}{ccc}{C}_{ij}^Y(s_{i,1}-s_{j,1})& ...& C_{ij}^Y(s_{i,1}-s_{j,N_j})\\ ...& ...& ...\\ C_{ij}^Y(s_{i,N_i}-s_{j,1})& ...& C_{ij}^Y(s_{i,N_i}-s_{j,N_j})\end{array}\right)$

这些共同定义了组合输出数据 D 的正定对称协方差矩阵 C:
$C=\left(\begin{array}{cc}{C}_{11}& C_{12}\\ C_{21}& C_{22}\end{array}\right)$
我们定义了一组参数化的超参数集 Θ={$v_1,v_2,w_1,w_2,A_1,A_2,B_1,B_2,\mu ,{\sigma }_1,{\sigma }_2$}，现在可以计算似然：
$L=-\frac{1}{2}log|C|-\frac{1}{2}{y}^T{C}^{-1}y--\frac{N_1+N_2}{2}log2\pi$
其中$y^T=[y_{1,1}....y_{1,N_1}{y}_{2,1}...y_{2,N_2}]$
并且C 是 Θ 和 D 的函数。

学习模型现在对应于最大化似然 $L$ 或最大化后验概率 $P(\Theta |D)$。 或者，我们可以通过使用马尔可夫链蒙特卡罗方法 [10] 从联合分布 $P(y,\Theta |D)$ 中抽取样本来模拟 y 的预测分布。

给定 Θ 和 D 的输出 $i$ 上点 $s^{\prime }$ 的预测分布是高斯分布，均值 $y_p^{\prime }$ 和方差 ${\sigma }_{y_p^{\prime }}^2$ 由下式给出
$y_p^{\prime }=k^T{C}^{-1}y$
${\sigma }_{y_p^{\prime }}^2=\kappa -k^T{C}^{-1}k$
其中 $\kappa =C_{ii}^Y(0)=v_i^2+w_i^2+{\sigma }_i^2$
$k=[C_{i1}^Y(s^{\prime }-s_{1,1})...C_{i1}^Y(s^{\prime }-s_{1,N_1})C_{i2}^Y(s^{\prime }-s_{2,1})...C_{i2}^Y(s^{\prime }-s_{2,N_2}){]}^T$

2.1 示例1: 1维输入空间上的强依赖输出

考虑在 1d 输入空间上观察到的两个输出。令 $A_i=exp(f_i)$、$B_i=exp(g_i)$ 和 ${\sigma }_i=exp({\beta }_i)$。我们的超参数是 $\Theta =${$v_1,v_2,w_1,w_2,f_1,f_2,g_1,g_2,\mu ,{\beta }_1,{\beta }_2$}，其中 $\Theta$ 的每个元素都是一个标量。如在 [2] 中，我们在 $\Theta$ 上设置高斯先验。

我们通过从输出 1 中获取 $N_1=32$ 个样本和从输出 2 中获取 $N_2=16$ 个样本来生成 $N=48$ 个数据点。来自输出 1 的样本在区间 [-1, 1] 中线性分布，来自输出 2 的样本均匀分布在 [−1, −0.15]∪[0.65, 1] 区域内。所有样本均在加性高斯噪声下采集，$\sigma =0.025$。为了构建我们的模型，我们使用多起点共轭梯度算法最大化 $P(\Theta |D)\propto P(D|\Theta )P(\Theta )$，初始条件为 5 个起点，从 $P(\Theta )$ 采样。

生成的依赖模型以及一个没有耦合的独立（控制）模型如图 2 所示（参见图 1）。观察到依赖模型已经学习了输出之间的耦合和转换，并在输出 2 中填充了缺失样本的地方。控制模型无法实现这样的填充，因为它由两个独立的高斯过程组成。

2.2 示例2: 2维输入空间上的强依赖输出

5 结论

我们已经展示了如何将高斯过程框架扩展到多个输出变量，而不假设它们是独立的。可以通过推断卷积核而不是协方差函数来处理多个过程。这使得为​​协变输出构建所需的正定协方差矩阵变得容易。

这项工作的一个应用是学习输出之间的空间转换。然而，这里开发的框架比这更通用，因为它可以对来自多个来源的数据进行建模，其中只有一些是共享的。我们的示例显示了在允许输出之间耦合的模型中填充稀疏采样区域成为可能。另一个应用是依赖时间序列的预测。我们的示例显示了学习多个时间序列之间的耦合如何有助于预测，特别是当要预测的序列依赖于其他序列的先前或当前值时。

相关高斯过程在一个输出采样成本高但与第二个输出便宜的情况下强烈协变的情况下应该特别有价值。通过推断数据的耦合和独立方面，可以使用廉价观测值作为昂贵观测值的代理。