SVM→6.软间隔问题(soft-margin)
《SVM→6
.软间隔问题(soft-margin)》
1.有时候训练集数据中有一些异常点( outlier ) ,如果考虑它们,决策边界的效果就不好了
- 为了解决这个问题, 可以对每个样本点
引进一个松弛变量
,将约束条件变为图
,注意每个
是不一样的,同时,更改目标函数,则最终为求解优化问题:
图
C>0称为 惩罚参数 ,C值大的时候对误分类的惩罚增大,C值小的时候对误分类的惩罚减小
- 仿照参考见第5课→SVM→4目标函数的求解硬间隔支持向量机,可以将2.中的原始优化问题转化为对偶优化问题如下:
可以 发现软间隔SVM只是 给ai加上了一个上界。在对目标函数求解时,我们需要先选择惩罚参数C,后续步骤则与硬间隔SVM求解相同。
- 软间隔支持向量机的支持向量
- 在线性不可分的情况下,对偶问题中对应于
的样本点称为支持向量(软间隔的支持向量)。
- 通过
及
,可以知道支持向量到间隔边界的距离是图
- 软间隔的支持向量或者在间隔边界上,或者在间隔边界与分离超平面之间, 或者在分离超平面误分一侧
- 若图ai*<C,则
记忆:当ai<C时说明ai没有固定,满足0<ai<C就可以,在非软间隔中,ai也可以取很多大于0的值,因此这里
=0和非软间隔相同,支持向量xi恰好落在间隔边界上;
- 若图ai*=C,
,则分类正确,xi在间隔边界与分离超平面之间;
- 若图ai*=C,
,则xi在分离超平面上;
- 若图ai*=C,
,则xi位于分离超平面误分一侧。
- 若图ai*<C,则
- 在线性不可分的情况下,对偶问题中对应于
posted on 2018-10-08 08:26 LeisureZhao 阅读(...) 评论(...) 编辑 收藏