最小二乘支持向量机(LSSVM)推导

个人笔记,非教程

LSSVM和SVM的区别就在于,LSSVM把原方法的不等式约束变为等式约束,从而大大方便了Lagrange乘子alpha的求解,原问题是QP问题,而在LSSVM中则是一个解线性方程组的问题。

min ⁡ w , b , e J ( w , e ) = 1 2 w T w + 1 2 γ ∑ i = 1 N e i 2 \min_{w,b,e}J(w,e)=\frac 12 w^Tw+\frac 12\gamma\sum_{i=1}^{N}e_i^2 w,b,eminJ(w,e)=21wTw+21γi=1Nei2
s . t .      y i ( w T x i + b ) = 1 − e i ,     i = 1 , . . . , N s.t.\ \ \ \ y_i(w^Tx_i+b)=1-e_i,\ \ \ i=1,...,N s.t.    yi(wTxi+b)=1ei,   i=1,...,N

拉格朗日

L ( w , b , e ; α ) = J ( w , e ) − ∑ i = 1 N α i [ y i ( w T x i + b ) − 1 + e i ] L(w,b,e;\alpha)=J(w,e)-\sum_{i=1}^{N}\alpha_i[y_i(w^Tx_i+b)-1+e_i] L(w,b,e;α)=J(w,e)i=1Nαi[yi(wTxi+b)1+ei]

求导并令其为零

∂ L ∂ w = 0 → w = ∑ i = 1 N α i y i x i ∂ L ∂ b = 0 → 0 = ∑ i = 1 N α i y i ∂ L ∂ e i = 0 → α i = γ e k ,     k = 1 , . . . , N ∂ L ∂ a i = 0 → y i ( w T x i + b ) − 1 + e k = 0 ,     k = 1 , . . . , N \begin{aligned} \frac{\partial L}{\partial w}&=0\to w=\sum_{i=1}^{N}\alpha_iy_ix_i \\ \frac{\partial L}{\partial b}&=0\to 0=\sum_{i=1}^{N}\alpha_iy_i \\ \frac{\partial L}{\partial e_i}&=0\to \alpha_i=\gamma e_k, \ \ \ k=1,...,N \\ \frac{\partial L}{\partial a_i}&=0\to y_i(w^Tx_i+b)-1+e_k=0,\ \ \ k=1,...,N \end{aligned} wLbLeiLaiL=0w=i=1Nαiyixi=00=i=1Nαiyi=0αi=γek,   k=1,...,N=0yi(wTxi+b)1+ek=0,   k=1,...,N

转换为关于 α \alpha α b b b的线性方程组形式:

[ 0 Y T Y ( Y Y T ) ⨀ ( X X T ) + γ − 1 I ] [ b α ] = [ 0 1 ] \begin{bmatrix} 0 & Y^T \\ Y & (YY^T)\bigodot (XX^T)+\gamma^{-1}I \\ \end{bmatrix} \begin{bmatrix} b \\ \alpha \\ \end{bmatrix} = \begin{bmatrix} 0 \\ \bold 1 \\ \end{bmatrix} [0YYT(YYT)(XXT)+γ1I][bα]=[01]
其中 ⨀ \bigodot 规则为将矩阵对应位置的元素分别相乘, 1 \bold 1 1为一列1构成的向量

上面的矩阵大概长这个样子:

在这里插入图片描述

( Y Y T ) ⨀ ( X T X ) + γ − 1 I (YY^T)\bigodot (X^TX)+\gamma^{-1}I (YYT)(XTX)+γ1I里的第 i i i行第 j j j列元素为 y i y j x i T x j y_iy_jx_i^Tx_j yiyjxiTxj

  • 2
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
### 回答1: 最小二乘支持向量机LSSVM)是一种机器学习算法,用于建立输入数据与相应输出数据之间的关系模型。在多输入多输出预测中,LSSVM可将多个输入变量与多个输出变量联合起来建立模型,这种模型适用于多个变量相互影响或相互依赖的情况,可以更准确地预测未知数据的输出结果。 LSSVM的优点在于可以通过寻找数据中的最小误差来确定支持向量,从而建立高精度的预测模型。在多输入多输出预测中,LSSVM可通过将多个输入与输出数据样本进行组合来建立模型,以此预测未知数据的输出结果。LSSVM在处理非均衡数据和高维数据方面表现良好,并具有较强的鲁棒性。 LSSVM在多输入多输出预测问题解决方案中的广泛应用逐渐普及。通过优化算法、数据拟合和模型参数的选择,可以进一步优化LSSVM算法的性能。未来,LSSVM在多输入多输出预测方面的研究将更加深入,提高预测模型的精度和稳定性将成为关注的重点。 ### 回答2: 最小二乘支持向量机(Least Squares Support Vector Machine,简称lssvm)是机器学习中常用的预测模型。在多输入多输出预测中,我们需要根据多个输入变量来预测多个输出变量。与单输入单输出模型相比,多输入多输出模型需要考虑更多的因素,因此更加复杂。 lssvm使用最小二乘法来减小预测误差,在模型训练中会找到最优的决策边界,使得预测误差最小。对于多输入多输出预测,我们需要将输入与输出变量按照一定的方式组合起来,形成一个多维的数据结构。之后,我们可以将这个多维数据集传入lssvm模型中进行训练,从而构建出一个多输入多输出的预测模型。 在使用lssvm模型进行多输入多输出预测时,我们需要注意的是模型的精度和效率。由于多变量之间的关系往往比较复杂,因此存在“维数灾难”的问题,模型的规模会急剧扩大,训练和预测的时间也会明显增加。为了解决这个问题,我们可以使用一些降维技术,如主成分分析(PCA)等,将高维数据压缩到低维空间中进行处理。 总之,最小二乘支持向量机lssvm)是一种常用的多输入多输出预测模型。在使用时需注意选择合适的输入变量组合方式,避免“维数灾难”,以提高模型的精度和效率。 ### 回答3: 最小二乘支持向量机LSSVM)是一种有效的非线性模型,能够处理多输入和单输出问题。然而,在实际应用中,许多问题涉及多输入和多输出的预测问题,如气象预测、交通流量预测和股票价格预测等。在这些应用中,LSSVM需要进行扩展,以处理多输入多输出预测的问题。 为了解决LSSVM的扩展问题,研究人员提出了多种方法。其中一种常用方法是将LSSVM扩展为多任务学习问题,并使用多任务学习来预测多个输出。这种方法将多输出问题转化为多任务问题,并在LSSVM中实现对多个任务的联合建模。 另一种方法是训练多个LSSVM模型来预测每个输出。这种方法在每个输出上训练一个单独的LSSVM模型,然后将它们组合起来,以获得多输入多输出的预测结果。此类方法具有高度的灵活性和可扩展性,可以应用于各种预测问题。 总结而言,要扩展LSSVM以处理多输入多输出预测问题,可以使用多任务学习或训练多个LSSVM模型的方法。这些方法可以帮助从多个输入中推断出多个输出,有助于提高预测的准确性并实现更广泛的应用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值