最小二乘支持向量机预测matlab实现,最小二乘支持向量机及其 Pre-computed Kernel 的 matlab 实现...

1. 最小二乘支持向量机的推导

与支持向量机(Support Vector Machines, SVM)不同，Suykens 等提出的最小二乘支持向量机(Least Squared Support Vector Machines, LSSVM)在 SVM 之上使用做出了 3 项改进：

使用误差项

代替了松弛变量

使用等式约束代替了不等式约束

使用二次损失函数

代替了 hinge 损失

得到 LSSVM 的目标函数为--式 (1) :

其中

为投影到希尔伯特空间的样本；

和

为分类器参数，分别是分类超平面斜率与偏移量；

为误差项；

为正则项参数，控制对误差项的惩罚程度。

与 SVM 的解法相似，可使用拉格朗日乘子法来求解两个分类器参数. 引入拉格朗日乘子

得到其拉格朗日函数为 -- 式 (2)：