remp在matlab,基于Matlab的最小二乘支持向量机的工具箱及其应用

基于Matlab的最小二乘支持向量机的工具箱及其应用

李方方,赵英凯,颜昕

1最小二乘支持向量机的原理

最小二乘支持向量机[2]是支持向量机的一种改进,它是将传统支持向量机中的不等式约束改为等式约束,且将误差平方和(Sum SquaresError)损失函数作为训练集的经验损失,这样就把解二次规划问题转化为求解线性方程组问题,提高求解问题的速度和收敛精度。设样本为n维向量,某区域的l个样本及其表示为: (x1,y1),…, (xl,yl)∈Rn×R,首先用一非线性映射ψ(·)把样本从原空间Rn映射到特征空间φ(xi),在这个高维特征空间中构造最优决策函数:

y(x) =ω·φ(x) +b(1)

这样非线性估计函数转化为高维特征空间的线性估计函数。利用结构风险最小化原则,寻找ω, b就是最小化:

其中‖ω‖2控制模型的复杂度, c是正规化参数,控制对超出误差样本的惩罚程度。Remp为误差控制函数,也即ε不敏感损失函数。常用的损失函数有线性ε损失函数,二次ε损失函数,Huber损失函数。选取了不同的损失函数,可构造不同形式的支持向量机。最小二乘支持向量机在优化目标失函数为误差ξi的二次项。故优化问题为:

式中,ξi为松弛因子。用拉格朗日法求解这个优化问题:

其中:αi(i =1,…, l)是拉格朗日乘子。

根据优化条件