最小二乘支持向量机（LSSVM）详解

最小二乘支持向量机（LSSVM）详解

第四十六次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。在《Feature Selection详解（附带Relief、Relief-F、LVM详解）（一）》一文中曾对支持向量机（SVM）以及支持向量回归（SVR）进行了详细的介绍，在给出二次规划问题后，需要使用SMO算法对目标进行优化，由于SMO算法运行过程中需要对原数据进行循环扫描，来查找满足条件的样本点，因此该算法的时间复杂度是非常高的，本文介绍一种解决该问题的SVM算法变体——最小二乘支持向量机（LSSVM）。

LSSVM的特性

  1) 同样是对原始对偶问题进行求解，但是通过求解一个线性方程组（优化目标中的线性约束导致的）来代替SVM中的QP问题（简化求解过程），对于高维输入空间中的分类以及回归任务同样适用；
  2) 实质上是求解线性矩阵方程的过程，与高斯过程（Gaussian processes），正则化网络（regularization networks）和费雪判别分析（Fisher discriminant analysis）的核版本相结合；
  3) 使用了稀疏近似（用来克服使用该算法时的弊端）与稳健回归（稳健统计）；
  4) 使用了贝叶斯推断（Bayesian inference）；
  5) 可以拓展到非监督学习中：核主成分分析（kernel PCA）或密度聚类；
  6) 可以拓展到递归神经网络中。

LSSVM用于分类任务

  1) 优化目标

  2) 拉格朗日乘子法

  其中${\alpha }_i$是拉格朗日乘子，也是支持值（support values）
  3) 求解最优化条件

  4) 求解对偶问题（与SVM同样不对$w$和$e$做任何计算）

  LLSVM通过求解上述线性方程组，得到优化变量$a$和$b$的值，这种求解方式比求解QP问题更加简便

  5) 与标准SVM的区别

    a. 使用等式约束，而不是不等式约束；
    b. 由于对每个样本点采用了等式约束，因此对松弛向量不施加任何约束，这也是LSSVM丢失稀疏性的重要原因；
    c. 通过解决等式约束以及最小二乘问题，使得问题得到进一步简化。

LSSVM用于回归任务

  1) 问题描述

  2) 优化目标

  3) 求解对偶问题（与SVM同样不对$w$和$e$做任何计算）

  LLSVM通过求解上述线性方程组，得到优化变量$a$和$b$的值，这种求解方式比求解QP问题更加简便

LSSVM的弊端

  注意到解决分类任务时，在求解最优化过程中得到${\alpha }_i=\gamma e_i$，由于拉格朗日乘子法中对应于等式约束的拉格朗日乘子${\alpha }_i̸=0$，因此全部训练样本都会被作为支持向量来看待，这就会导致其丧失SVM原有的稀疏性质，但是还可以通过对训练集进行基于支持度的“减枝”（pruning）处理来达到稀疏化的目的，这一步也可以看做是一种稀疏近似（sparse approximate）操作。

---

参考资料

【1】 Suykens, Johan A. K. , and J. Vandewalle . “Least Squares Support Vector Machine Classifiers.” Neural Processing Letters 9.3(1999):293-300.