最小二乘支持向量机(LSSVM)推导

个人笔记,非教程

LSSVM和SVM的区别就在于,LSSVM把原方法的不等式约束变为等式约束,从而大大方便了Lagrange乘子alpha的求解,原问题是QP问题,而在LSSVM中则是一个解线性方程组的问题。

min ⁡ w , b , e J ( w , e ) = 1 2 w T w + 1 2 γ ∑ i = 1 N e i 2 \min_{w,b,e}J(w,e)=\frac 12 w^Tw+\frac 12\gamma\sum_{i=1}^{N}e_i^2 w,b,eminJ(w,e)=21wTw+21γi=1Nei2
s . t .      y i ( w T x i + b ) = 1 − e i ,     i = 1 , . . . , N s.t.\ \ \ \ y_i(w^Tx_i+b)=1-e_i,\ \ \ i=1,...,N s.t.    yi(wTxi+b)=1ei,   i=1,...,N

拉格朗日

L ( w , b , e ; α ) = J ( w , e ) − ∑ i = 1 N α i [ y i ( w T x i + b ) − 1 + e i ] L(w,b,e;\alpha)=J(w,e)-\sum_{i=1}^{N}\alpha_i[y_i(w^Tx_i+b)-1+e_i] L(w,b,e;α)=J(w,e)i=1Nαi[yi(wTxi+b)1+ei]

求导并令其为零

∂ L ∂ w = 0 → w = ∑ i = 1 N α i y i x i ∂ L ∂ b = 0 → 0 = ∑ i = 1 N α i y i ∂ L ∂ e i = 0 → α i = γ e k ,     k = 1 , . . . , N ∂ L ∂ a i = 0 → y i ( w T x i + b ) − 1 + e k = 0 ,     k = 1 , . . . , N \begin{aligned} \frac{\partial L}{\partial w}&=0\to w=\sum_{i=1}^{N}\alpha_iy_ix_i \\ \frac{\partial L}{\partial b}&=0\to 0=\sum_{i=1}^{N}\alpha_iy_i \\ \frac{\partial L}{\partial e_i}&=0\to \alpha_i=\gamma e_k, \ \ \ k=1,...,N \\ \frac{\partial L}{\partial a_i}&=0\to y_i(w^Tx_i+b)-1+e_k=0,\ \ \ k=1,...,N \end{aligned} wLbLeiLaiL=0w=i=1Nαiyixi=00=i=1Nαiyi=0αi=γek,   k=1,...,N=0yi(wTxi+b)1+ek=0,   k=1,...,N

转换为关于 α \alpha α b b b的线性方程组形式:

[ 0 Y T Y ( Y Y T ) ⨀ ( X X T ) + γ − 1 I ] [ b α ] = [ 0 1 ] \begin{bmatrix} 0 & Y^T \\ Y & (YY^T)\bigodot (XX^T)+\gamma^{-1}I \\ \end{bmatrix} \begin{bmatrix} b \\ \alpha \\ \end{bmatrix} = \begin{bmatrix} 0 \\ \bold 1 \\ \end{bmatrix} [0YYT(YYT)(XXT)+γ1I][bα]=[01]
其中 ⨀ \bigodot 规则为将矩阵对应位置的元素分别相乘, 1 \bold 1 1为一列1构成的向量

上面的矩阵大概长这个样子:

在这里插入图片描述

( Y Y T ) ⨀ ( X T X ) + γ − 1 I (YY^T)\bigodot (X^TX)+\gamma^{-1}I (YYT)(XTX)+γ1I里的第 i i i行第 j j j列元素为 y i y j x i T x j y_iy_jx_i^Tx_j yiyjxiTxj

  • 2
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值