最小二乘支持向量机(LSSVM)简述

最小二乘支持向量机简述

先说LSSVM分类,LSSVM和SVM的区别就在于,LSSVM把原方法的不等式约束变为等式约束,从而大大方便了Lagrange乘子alpha的求解,原问题是QP问题,而在LSSVM中则是一个解线性方程组的问题。

对于SVM问题,约束条件是不等式约束:
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ min_{w,b,\xi}J…
对于LSSVM,原问题变为等式约束:
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ min_{w,b,e}J\l…
原SVM问题中的 ξ \xi ξ 是一个松弛变量,它的意义在于在支持向量中引入离群点。而对于LSSVM的等式约束,等式右侧的 e e e 和SVM的 ξ \xi ξ 的意义是类似的,最后的优化目标中也包含了 e e e 。我个人理解成:在LSSVM中,所有的训练点均为支持向量,而误差 e e e 是我们的优化目标之一。

另外,在LSSVM中 γ \gamma γ 和SVM中 c c c 的意义是一样的,一个权重,用于平衡寻找最优超平面和偏差量最小。

接下来,和SVM类似,采用 L a g r a n g e Lagrange Lagrange 乘数法把原问题转化为对单一参数,也就是 α \alpha α 的求极大值问题。新问题如下:
L ( w , b , e ; α ) = J ( w , e ) − ∑ k = 1 N α k { y k [ w T φ ( x k ) + b ] − 1 + e k } L\left(w,b,e;\alpha \right)=J\left(w,e\right)-\sum^{N}_{k=1}\alpha_{k}\left\{y_{k}\left[w^{T}\varphi(x_{k})+b\right]-1+e_k\right\} L(w,b,e;α)=J(w,e)k=1Nαk{yk[wTφ(xk)+b]1+ek}

分别对 w , b , e k , α k w,b,e_k,\alpha_k wbekαk 求导=0,有:

KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \dfrac {\parti…
接下来,根据这四个条件可以列出一个关于 α \alpha α b b b 的线性方程组:
[ 0 y T y Ω + I / y ] [ b α ] = [ 0 1 v ] \begin{bmatrix} 0 & y^T\\ y & \Omega+I/y \\ \end{bmatrix} \begin{bmatrix} b\\ \alpha \\ \end{bmatrix}= \begin{bmatrix} 0\\ 1_v\\ \end{bmatrix} [0yyTΩ+I/y][bα]=[01v]

其中 Ω \Omega Ω 被称作核矩阵:
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \Omega _{kl}&=…
解上述方程组可以得到一组 α \alpha α b b b

最后得到LSSVM分类表达式:
y ( x ) = s i g n [ ∑ k = 1 N α k y k K ( x , x k ) + b ] y(x)=sign\left[ \sum^N_{k=1}\alpha_k y_kK(x,x_k)+b\right] y(x)=sign[k=1NαkykK(x,xk)+b]

那么对比SVM,LSSVM的预测能力究竟怎么样呢,简单说来,由于是解线性方程组,LSSVM的求解显然更快,但标准基本形式的LSSVM的预测精准度比SVM稍差一些。

接下来说回归。
如果说分类是用一个超平面将两组数据分开的话,个人理解LSSVM回归就是用一个超平面对已知数据进行拟合,问题如下:
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ min_{w,b,e}J\l…

这里的 y k y_k yk 不再是表明类别的标签,而是我们需要估计函数中 y = f ( x ) y=f(x) y=f(x) 中的 y y y ,同样的,首先采用 L a g r a n g e Lagrange Lagrange 乘数法:

L ( w , b , e ; α ) = J ( w , e ) − ∑ k = 1 N α k { w T φ ( x k ) − b + e k − y k } L\left(w,b,e;\alpha \right)=J\left(w,e\right)-\sum^{N}_{k=1}\alpha_{k}\left\{w^{T}\varphi(x_{k})-b+e_k-y_k\right\} L(w,b,e;α)=J(w,e)k=1Nαk{wTφ(xk)b+ekyk}

进一步推导:
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \dfrac {\parti…
最后化为解下列线性方程组:
[ 0 1 v T 1 v Ω + I / γ ] [ b α ] = [ 0 y ] \begin{bmatrix} 0 & 1_v^T\\ 1_v & \Omega+I/\gamma\\ \end{bmatrix} \begin{bmatrix} b\\ \alpha \\ \end{bmatrix}= \begin{bmatrix} 0\\ y\\ \end{bmatrix} [01v1vTΩ+I/γ][bα]=[0y]
有核矩阵如下:
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \Omega _{kl}&=…
解上述方程组得到LSSVM回归函数:
y ( x ) = ∑ k = 1 N α k K ( x , x k ) + b y(x)=\sum^N_{k=1}\alpha_k K(x,x_k)+b y(x)=k=1NαkK(x,xk)+b

相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页