基于麻雀算法优化的相关向量机RVM分类算法

基于麻雀算法优化的相关向量机RVM分类算法

摘要：本文主要介绍相关向量机RVM的基本原理，以及利用麻雀算法改进RVM在分类问题中的应用。

1.RVM原理

RVM算法是一种基于贝叶斯框架的机器学习模型 ，通过最大化边际似然得到相关向量和权重。

设 { x } u = 1 N \{x\}_{u=1}^N {x}u=1N​​和 { t } u = 1 N \{t\}_{u=1}^N {t}u=1N​​分别是输入向量和输出向量，目标$t$​可采用如式(1)所示的回归模型获得:
$$t=y(x)+{\xi }_n\text{\hspace{1em}(1)}$$
式中: ${\xi }_n$为零均值、方差 ${\sigma }^2$的噪声，$y(x)$ 定义为:
$$y(x)=\sum _{u=1}^N{w}_{u}K(x,x_u)+w_0\text{\hspace{1em}(2)}$$
式中: $K(x,x_u)$ 是核函数，$w_u$ 是权重向量，$w_0$是偏差。设$t$​是独立的，其概率定义为:
$$p(t|w,{\sigma }^2)=(2\pi {\sigma }^2{)}^{-N/2}exp(-\frac{||t-w\phi |{|}^2}{2{\sigma }^2})\text{\hspace{1em}(3)}$$
式中：$t=(t_1,t_2,...,t_N{)}^T,w=(w_0,w_1,...,w_n{)}^T$,$\phi$是$N(N+1)$​的矩阵。

式(3)中的 $w$ 和 $\sigma$最大似然估计会导致过拟合，为约束参数，定义一个零均值高斯先验概率分布:
$$p(w|\alpha )=\prod _{u=0}^{N}N(w_u|0,{\alpha }_u^{-1})\text{\hspace{1em}(4)}$$
式中: $\alpha$ 是 $N+1$ 维的超参数向量。

依据贝叶斯公式，未知参数的后验概率为:
$$p(w,\alpha ,{\sigma }^2|t)=p(w|\alpha ,{\sigma }^2,t)p(\alpha ,{\sigma }^2|t)\text{\hspace{1em}(5)}$$
后验分布的权重被描述为:
$$p(w|t,\alpha ,{\sigma }^2)=(2\pi {)}^{-(N+1)/2}|\Sigma {|}^{-1/N}exp(-\frac{1}{2}(w-u{)}^T{\Sigma }^{-1}(w-u))\text{\hspace{1em}(6)}$$
式中:后验均值$u={\sigma }^{-2}\Sigma {\phi }^{T}t$,协方差$\Sigma =({\sigma }^{-2}{\phi }^T\phi +A{)}^{-1}$,$A=diag({\alpha }_0,{\alpha }_1,...,{\alpha }_N)$​。

为了实现统一的超参数，​做出如下定义:
$$p(t|\alpha ,{\sigma }^2)=\int p(t|w,{\sigma }^2)p(w,\alpha )dw=(2\pi {)}^{-N/2}|{\sigma }^{2}I+\phi A^{-1}{\phi }^T|exp(-\frac{1}{2}{t}^T({\sigma }^{2}I+\phi A^{-1}{\phi }^T{)}^{-1}t)\text{\hspace{1em}(7)}$$
高斯径向基函数具有较强的非线性处理能力，被用作核函数，其定义如下:
$$K(x,x_u)=exp(-\frac{(x-x_u{)}^2}{2{\gamma }^2})\text{\hspace{1em}(7)}$$
式中: $\gamma$ 为宽度因子，对模型的精度有极大的影响，需要预先设定。

2.基于麻雀算法优化的相关向量机RVM

麻雀算法的基本原理请参考我的博客：https://blog.csdn.net/u011835903/article/details/108830958

本文利用麻雀算法优化RVM的宽度因子和超参数。适应度函数设计为训练集和验证集的错误率之和。错误率越低表明算法的预测性能越好。
$$fitness=TrainErrorRate+TestErrorRate\text{\hspace{1em}(8)}$$

3.算法实验与结果

本文算法数据数量一共为250组数据，2个类别数据。其中前200组数据用训练，后50组数据用作测试数据。数据的输入维度为11维。

数据类别	数据量
训练数据	200
测试数据	50

麻雀算法的参数设置如下：

%% 麻雀参数设置
pop=20; %种群数量
Max_iteration=20; %  设定最大迭代次数
dim = 2;% 维度为2，即优化一个超参数，以及核宽度
lb = [0.1,0.1];%下边界
ub = [1,10];%上边界

得到的结果如下图所示：

RVM训练集准确率：0.955
RVM测试集准确率：0.84314
SSA-RVM训练集准确率：0.97
SSA-RVM测试集准确率：0.88235

从结果来看，SSA-RVM的结果无论是在训练集还是测试集上结果都更优。

4.参考文献：

[1] TIPPPING M E． Sparse Bayesian learning and the relevance vector machine［J］． The journal of machine learning research，2001，1: 211-244．

5.MATLAB代码