【机器学习基础】相关向量机

本系列为《模式识别与机器学习》的读书笔记。

一，⽤于回归的 RVM

相关向量机（relevance vector machine）或者 RVM（Tipping, 2001）是⼀个⽤于回归问题和分类问题的贝叶斯稀疏核⽅法，它具有许多 SVM 的特征，同时避免了 SVM 的主要的局限性。此外，通常会产⽣更加稀疏的模型，从⽽使得在测试集上的速度更快，同时保留了可⽐的泛化误差。

给定⼀个输⼊向量 $\mathbf{x}$ 的情况下， 实值⽬标变量t的条件概率分布，形式为

$$p(t|\mathbf{x},\mathbf{w},\beta )=\mathcal{N}(t|y(\mathbf{x}),{\beta }^{-1})\text{\hspace{1em}(7.27)}$$

其中 $\beta ={\sigma }^{-2}$ 是噪声精度（噪声⽅差的倒数），均值是由⼀个线性模型给出，形式为

$$y(\mathbf{x})=\sum _{i=1}^M{w}_i{\varphi }_i(\mathbf{x})={\mathbf{w}}^T\mathbf{\varphi }(\mathbf{x})$$

模型带有固定⾮线性基函数 ${\varphi }_i(\mathbf{x})$ ，通常包含⼀个常数项，使得对应的权参数表⽰⼀个“偏置”。

基函数由核给出，训练集的每个数据点关联着⼀个核。⼀般的表达式可以写成与 SVM 相类似的形式

$$y(\mathbf{x})=\sum _{n=1}^N{w}_{n}k(\mathbf{x},{\mathbf{x}}_n)+b\text{\hspace{1em}(7.28)}$$

其中 $b$ 是⼀个偏置参数。在⽬前的问题中， 参数的数量为 $M=N+1$ 。$y(\mathbf{x})$ 与 SVM 的预测模型具有相同的形式，唯⼀的差别是系数 $a_n$ 在这⾥被记作 $w_n$ 。

假设有输⼊向量 $\mathbf{x}$ 的 $N$ 次观测，将这些观测聚集在⼀起，记作数据矩阵 $\mathbf{X}$ ，它的第 $n$ ⾏是 ${\mathbf{x}}_n^T$ ，其中 $n=1,\dots ,N$ 。对应的⽬标值为 $\mathbf{t}=(t_1,\dots ,t_N{)}^T$ 。因此，似然函数为

$$p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )=\prod _{n=1}^{N}p(t_n|{\mathbf{x}}_n,\mathbf{w},\beta )\text{\hspace{1em}(7.29)}$$

权值先验的形式为

$$p(\mathbf{w}|\mathbf{\alpha })=\prod _{i=1}^N\mathcal{N}(w_i|0,{\alpha }_i^{-1})\text{\hspace{1em}(7.30)}$$

其中 ${\alpha }_i$ 表⽰对应参数 $w_i$ 的精度，$\mathbf{\alpha }$ 表⽰ $({\alpha }_1,\dots ,{\alpha }_M{)}^T$ 。

权值的后验概率分布为

$$p(\mathbf{w}|\mathbf{t},\mathbf{X},\mathbf{\alpha },\beta )=\mathcal{N}(\mathbf{w}|\mathbf{m},\mathbf{\Sigma })\text{\hspace{1em}(7.31)}$$

其中，均值和⽅差为

$$\begin{gathered} \mathbf{m}=\beta \mathbf{\Sigma }{\mathbf{\Phi }}^T\mathbf{t} \\ \mathbf{\Sigma }=(\mathbf{A}+\beta {\mathbf{\Phi }}^T\mathbf{\Phi }{)}^{-1} \end{gathered}$$

其中，$\mathbf{\Phi }$ 是 $N\times M$ 的设计矩阵，元素为 ${\Phi }_{ni}={\varphi }_i({\mathbf{x}}_n)$（ $i=1,\dots ,N$ ）， 且 $\mathbf{A}=\text{diag}({\alpha }_i)$ 。

$\mathbf{\alpha }$ 和 $\beta$ 的值可以使⽤第⼆类最⼤似然法（也被称为证据近似）来确定。这种⽅法中，最⼤化边缘似然函数，边缘似然函数通过对权向量积分的⽅式得到，即
$$p(\mathbf{t}|\mathbf{X},\mathbf{\alpha },\beta )=\int p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )p(\mathbf{w}|\mathbf{\alpha })\mathrm{d}\mathbf{w}\text{\hspace{1em}(7.32)}$$

由于这表⽰两个⾼斯分布的卷积，因此可以计算求得对数边缘似然函数，形式为

ln ⁡ p ( t ∣ X , α , β ) = ln ⁡ N ( t ∣ 0 , C ) = − 1 2 { N ln ⁡ ( 2 π ) + ln ⁡ ∣ C ∣ + t T C − 1 t } (7.33) \begin{aligned}\ln p(\mathbf{t}|\boldsymbol{X},\boldsymbol{\alpha},\beta)&=\ln \mathcal{N}(\mathbf{t}|\boldsymbol{0},\boldsymbol{C})\\&=-\frac{1}{2}\{N\ln(2\pi)+\ln|\boldsymbol{C}|+\mathbf{t}^{T}\boldsymbol{C}^{-1}\mathbf{t}\}\end{aligned}\tag{7.33} lnp(t∣X,α,β)​=lnN(t∣0,C)=−21​{ Nln(2π)+ln∣C∣+tTC−1t}​(7.33)

其中 $\mathbf{t}=(t_1,\dots ,t_N{)}^T$，并且定义了 $N\times N$ 的矩阵 $\mathbf{C}$ ，形式为

$$\mathbf{C}={\beta }^{-1}\mathbf{I}+\mathbf{\Phi }{\mathbf{A}}^{-1}{\mathbf{\Phi }}^T$$

现在的⽬标是关于超参数 $\mathbf{\alpha }$ 和 $\beta$ 最⼤化公式。

⽅法一，简单地令要求解的边缘似然函数的导数等于零，然后得到了下⾯的重估计⽅程
$$a_i^{新}=\frac{{\gamma }_i}{m_i^2}\text{\hspace{1em}(7.34)}$$

$$({\beta }^{新}{)}^{-1}=\frac{\Vert }{N-{\sum }_i{\gamma }_i}$$