基于相关向量机RVM的分类算法

基于相关向量机RVM的分类算法

摘要：本文主要介绍相关向量机RVM的基本原理，以及在分类问题中的应用。

1.RVM原理

RVM算法是一种基于贝叶斯框架的机器学习模型 ，通过最大化边际似然得到相关向量和权重。

设 { x } u = 1 N \{x\}_{u=1}^N {x}u=1N​​和 { t } u = 1 N \{t\}_{u=1}^N {t}u=1N​​分别是输入向量和输出向量，目标$t$​可采用如式(1)所示的回归模型获得:
$$t=y(x)+{\xi }_n\text{\hspace{1em}(1)}$$
式中: ${\xi }_n$为零均值、方差 ${\sigma }^2$的噪声，$y(x)$ 定义为:
$$y(x)=\sum _{u=1}^N{w}_{u}K(x,x_u)+w_0\text{\hspace{1em}(2)}$$
式中: $K(x,x_u)$ 是核函数，$w_u$ 是权重向量，$w_0$是偏差。设$t$​是独立的，其概率定义为:
$$p(t|w,{\sigma }^2)=(2\pi {\sigma }^2{)}^{-N/2}exp(-\frac{||t-w\phi |{|}^2}{2{\sigma }^2})\text{\hspace{1em}(3)}$$
式中：$t=(t_1,t_2,...,t_N{)}^T,w=(w_0,w_1,...,w_n{)}^T$,$\phi$是$N(N+1)$​的矩阵。

式(3)中的 $w$ 和 $\sigma$最大似然估计会导致过拟合，为约束参数，定义一个零均值高斯先验概率分布:
$$p(w|\alpha )=\prod _{u=0}^{N}N(w_u|0,{\alpha }_u^{-1})\text{\hspace{1em}(4)}$$
式中: $\alpha$ 是 $N+1$ 维的超参数向量。

依据贝叶斯公式，未知参数的后验概率为:
$$p(w,\alpha ,{\sigma }^2|t)=p(w|\alpha ,{\sigma }^2,t)p(\alpha ,{\sigma }^2|t)\text{\hspace{1em}(5)}$$
后验分布的权重被描述为:
$$p(w|t,\alpha ,{\sigma }^2)=(2\pi {)}^{-(N+1)/2}|\Sigma {|}^{-1/N}exp(-\frac{1}{2}(w-u{)}^T{\Sigma }^{-1}(w-u))\text{\hspace{1em}(6)}$$
式中:后验均值$u={\sigma }^{-2}\Sigma {\phi }^{T}t$,协方差$\Sigma =({\sigma }^{-2}{\phi }^T\phi +A{)}^{-1}$,$A=diag({\alpha }_0,{\alpha }_1,...,{\alpha }_N)$​。

为了实现统一的超参数，​做出如下定义:
$$p(t|\alpha ,{\sigma }^2)=\int p(t|w,{\sigma }^2)p(w,\alpha )dw=(2\pi {)}^{-N/2}|{\sigma }^{2}I+\phi A^{-1}{\phi }^T|exp(-\frac{1}{2}{t}^T({\sigma }^{2}I+\phi A^{-1}{\phi }^T{)}^{-1}t)\text{\hspace{1em}(7)}$$
高斯径向基函数具有较强的非线性处理能力，被用作核函数，其定义如下:
$$K(x,x_u)=exp(-\frac{(x-x_u{)}^2}{2{\gamma }^2})\text{\hspace{1em}(7)}$$
式中: $\gamma$ 为宽度因子，对模型的精度有极大的影响，需要预先设定。

2.算法实验与结果

本文算法数据数量一共为250组数据，2个类别数据。其中前200组数据用训练，后50组数据用作测试数据。数据的输入维度为11维。

数据类别	数据量
训练数据	200
测试数据	50

设置RVM的核函数为高斯径向基函数，核宽度为3。得到的结果如下图所示：

训练集准确率：0.955
测试集准确率：0.84314

从结果来看，RVM在二分分类问题上表现还可以。

3.参考文献：

[1] TIPPPING M E． Sparse Bayesian learning and the relevance vector machine［J］． The journal of machine learning research，2001，1: 211-244．

4.MATLAB代码