加权最小二乘双子支持向量机（WLSTSVM）

加权最小二乘支持向量机（WLSSVM）

WLSSVM是对最小二乘支持向量机的增强（LSSVM其他人有很多优秀的文章，这里不再介绍），其优化为题如下：

vi为权重参数，它由下式所决定：

其中的s_hat 为：

s_hat表示估计误差分布偏离高斯分布的程度。IQR为四分位距，MAD是中位数绝对偏差。


通常常数J1和J2分别选择为2.5和3。
关于LSTSVM前文已有介绍，下面直接介绍WLSSVM。

线性 WLSTSVM

优化问题为：

使用拉格朗日乘子法：

得到KKT条件：

融合上式前两式得到：

简化得到：

如果需要的话可以通过添加以下正则化项来处理病态矩阵的问题：

delta>0,I为合适的单位向量。
进一步得出alpha：

这里，D是一个对角矩阵，项D1ii为对应的数据点v1i: i = 1,2，…, n。
为了降低上式的复杂度，使用Sherman-Morision-Woodbury (SMW)重写得：

同理得另一对式子：

解出这两个参数矩阵，得到两个超平面：

通过下式对新数据的进行预测：

实现步骤如下：

1. 根据定义得到矩阵 H and G 。
2. 通过使用适当的惩罚参数c1和c2来训练线性LSTSVM，计算权重向量v1和v2 。
3. 计算出拉格朗日乘子α和β，进一步算出参数矩阵u1，u2，它们决定了两个判别超平面。
4. 使用判别式对新数据点进行分类。

非线性WLSTSVM

从两个超平面出发：


得到优化问题如下：

计算得到：


判别式为：

1. 计算出矩阵C。
2. 分别计算出两类对应的核矩阵 K(A,CT) 和 K(B,CT)。
3. 计算出矩阵 P、Q 。
4. 通过使用适当的惩罚参数c1和c2来训练非线性LSTSVM，计算权重向量v1和v2 。
5. 计算出拉格朗日乘子α和β，进一步算出决定非线性LSTSVM判别超平面的参数矩阵u1，u2。
6. 使用判别式对新数据点进行分类。