加权最小二乘双子支持向量机(WLSTSVM)
加权最小二乘支持向量机(WLSSVM)
WLSSVM是对最小二乘支持向量机的增强(LSSVM其他人有很多优秀的文章,这里不再介绍),其优化为题如下:
vi为权重参数,它由下式所决定:
其中的s_hat 为:
s_hat表示估计误差分布偏离高斯分布的程度。IQR为四分位距,MAD是中位数绝对偏差。
通常常数J1和J2分别选择为2.5和3。
关于LSTSVM前文已有介绍,下面直接介绍WLSSVM。
线性 WLSTSVM
优化问题为:
使用拉格朗日乘子法:
得到KKT条件:
融合上式前两式得到:
简化得到:
如果需要的话可以通过添加以下正则化项来处理病态矩阵的问题:
delta>0,I为合适的单位向量。
进一步得出alpha:
这里,D是一个对角矩阵,项D1ii为对应的数据点v1i: i = 1,2,…, n。
为了降低上式的复杂度,使用Sherman-Morision-Woodbury (SMW)重写得:
同理得另一对式子:
解出这两个参数矩阵,得到两个超平面:
通过下式对新数据的进行预测:
实现步骤如下:
- 根据定义得到矩阵 H and G 。
- 通过使用适当的惩罚参数c1和c2来训练线性LSTSVM,计算权重向量v1和v2 。
- 计算出拉格朗日乘子α和β,进一步算出参数矩阵u1,u2,它们决定了两个判别超平面。
- 使用判别式对新数据点进行分类。
非线性WLSTSVM
从两个超平面出发:
得到优化问题如下:
计算得到:
判别式为:
- 计算出矩阵C。
- 分别计算出两类对应的核矩阵 K(A,CT) 和 K(B,CT)。
- 计算出矩阵 P、Q 。
- 通过使用适当的惩罚参数c1和c2来训练非线性LSTSVM,计算权重向量v1和v2 。
- 计算出拉格朗日乘子α和β,进一步算出决定非线性LSTSVM判别超平面的参数矩阵u1,u2。
- 使用判别式对新数据点进行分类。