最小二乘支持向量机(LSSVM)详解

最小二乘支持向量机(LSSVM)详解

第四十六次写博客,本人数学基础不是太好,如果有幸能得到读者指正,感激不尽,希望能借此机会向大家学习。在《Feature Selection详解(附带Relief、Relief-F、LVM详解)(一)》一文中曾对支持向量机(SVM)以及支持向量回归(SVR)进行了详细的介绍,在给出二次规划问题后,需要使用SMO算法对目标进行优化,由于SMO算法运行过程中需要对原数据进行循环扫描,来查找满足条件的样本点,因此该算法的时间复杂度是非常高的,本文介绍一种解决该问题的SVM算法变体——最小二乘支持向量机(LSSVM)。

LSSVM的特性

  1) 同样是对原始对偶问题进行求解,但是通过求解一个线性方程组(优化目标中的线性约束导致的)来代替SVM中的QP问题(简化求解过程),对于高维输入空间中的分类以及回归任务同样适用;
  2) 实质上是求解线性矩阵方程的过程,与高斯过程(Gaussian processes),正则化网络(regularization networks)和费雪判别分析(Fisher discriminant analysis)的核版本相结合;
  3) 使用了稀疏近似(用来克服使用该算法时的弊端)与稳健回归(稳健统计);
  4) 使用了贝叶斯推断(Bayesian inference);
  5) 可以拓展到非监督学习中:核主成分分析(kernel PCA)或密度聚类;
  6) 可以拓展到递归神经网络中。

LSSVM用于分类任务

  1) 优化目标

  2) 拉格朗日乘子法

  其中 α i \alpha_i αi是拉格朗日乘子,也是支持值(support values)
  3) 求解最优化条件

  4) 求解对偶问题(与SVM同样不对 w w w e e e做任何计算)

  LLSVM通过求解上述线性方程组,得到优化变量 a a a b b b的值,这种求解方式比求解QP问题更加简便

  5) 与标准SVM的区别

    a. 使用等式约束,而不是不等式约束;
    b. 由于对每个样本点采用了等式约束,因此对松弛向量不施加任何约束,这也是LSSVM丢失稀疏性的重要原因;
    c. 通过解决等式约束以及最小二乘问题,使得问题得到进一步简化。

LSSVM用于回归任务

  1) 问题描述

  2) 优化目标

  3) 求解对偶问题(与SVM同样不对 w w w e e e做任何计算)

  LLSVM通过求解上述线性方程组,得到优化变量 a a a b b b的值,这种求解方式比求解QP问题更加简便

LSSVM的弊端

  注意到解决分类任务时,在求解最优化过程中得到 α i = γ e i \alpha_{i}=\gamma{e_{i}} αi=γei,由于拉格朗日乘子法中对应于等式约束的拉格朗日乘子 α i ≠ 0 \alpha_{i}\neq{0} αi̸=0,因此全部训练样本都会被作为支持向量来看待,这就会导致其丧失SVM原有的稀疏性质,但是还可以通过对训练集进行基于支持度的“减枝”(pruning)处理来达到稀疏化的目的,这一步也可以看做是一种稀疏近似(sparse approximate)操作。


参考资料

【1】 Suykens, Johan A. K. , and J. Vandewalle . “Least Squares Support Vector Machine Classifiers.” Neural Processing Letters 9.3(1999):293-300.

相关推荐
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页