1.原理:
最大间隔分类器:
min 1/2||w||^2 yi(wxi+b)>=1
写出拉格朗日函数:Lp 不等式约束利用KKT条件。
线性可分:直接最大化间隔
线性不可分:加入松弛变量 约束条件放宽 yi(wxi+b)>=1-ei
目标函数加入惩罚项(需要设置参数C)
非线性分类:空间变换(利用核函数 高斯核 线性核)
2.实现:
参数选择:线性不可分得情况下C的选取(通过交叉验证获得最佳参数,准确度与模型复杂度之间的平衡)
核函数选择:一般选用高斯核。特征数很大选择线性核。
高斯核参数选择:高斯核参数决定了模型的复杂程度。需要在偏差与方差之间做一个平衡。