加权支持向量机(w-svm)
本文为(A Weighted Support Vector Machine Method and its Application)论文笔记
加权支持向量机针对的是各类别样本数有较大差异时所存在的问题。
加权支持向量机
在加权支持向量机中,惩罚参数C是针对各个样本来选择的,最优化问题如下:
其中si为第i个训练样本对 C 的加权系数。采用拉格朗日乘子法求解具有线性不等式的二次规划问题,即:
得到对偶式如下:
计算上述二次规划问题得到判别函数式:
其中b为:
加权支持向量机的类别补偿
加权支持向量机方法的一个重要应用就是消除标准支持向量机方法存在的预测结果偏向于大样本数类别的倾向性问题(详细证明略),即在加权支持向量机中,同一类别的样本设置相同的权重,而不同类别的样本设置不同的 C 的权重。
如果要均衡二类别的错误分类率需要要求:
s为权重,l为样本数量。