SVM是最好的现成的分类器,不加修改即可直接使用。但调用 SVM 算法的测试准确度并不一定都很高。影响因素有数据预处理的效果、训练集的大小、特征值的选择、参数设置以及核函数的选择等因素。
知识点:
软间隔最大化
--点到超平面的距离并引入松弛变量(for outliers)
其中w,b分别为超平面的法向量和截距;ε为松弛变量,C 为惩罚参数,它的目的是使得目标变量最小即几何间隔最大,且使得松弛变量最小化。加入松弛变量的目标函数就是软间隔最大化。
拉格朗日对偶
--将目标函数和约束条件整合到拉格朗日函数中,方便求解最值问题
--原最优化问题直接求解很困难,利用拉格朗日对偶性,可通过求解原最优化问题的对偶问题得到原问题的最优解。
最优化问题求解
--对三个变量分别求偏导,带入拉格朗日函数: