SVM→6.软间隔问题(soft-margin)

SVM→6.软间隔问题(soft-margin)

《SVM→6 .软间隔问题(soft-margin)》

1.有时候训练集数据中有一些异常点（ outlier )  ，如果考虑它们,决策边界的效果就不好了

2. 为了解决这个问题， 可以对每个样本点引进一个松弛变量，将约束条件变为图，注意每个是不一样的,同时，更改目标函数，则最终为求解优化问题：

图

C>0称为 惩罚参数 ，C值大的时候对误分类的惩罚增大，C值小的时候对误分类的惩罚减小

3. 仿照参考见第5课→SVM→4目标函数的求解硬间隔支持向量机，可以将2.中的原始优化问题转化为对偶优化问题如下：

可以 发现软间隔SVM只是 给a_i加上了一个上界。在对目标函数求解时，我们需要先选择惩罚参数C，后续步骤则与硬间隔SVM求解相同。

4. 软间隔支持向量机的支持向量
   1. 在线性不可分的情况下，对偶问题中对应于的样本点称为支持向量（软间隔的支持向量）。
   2. 通过及，可以知道支持向量到间隔边界的距离是图
   3. 软间隔的支持向量或者在间隔边界上，或者在间隔边界与分离超平面之间， 或者在分离超平面误分一侧 
      1. 若图a_i^*<C,则记忆：当a_i<C时说明a_i没有固定，满足0<a_i<C就可以，在非软间隔中，a_i也可以取很多大于0的值，因此这里=0和非软间隔相同，支持向量x_i恰好落在间隔边界上； 
      2. 若图a_i^*=C，,则分类正确，x_i在间隔边界与分离超平面之间； 
      3. 若图a_i^*=C,,则x_i在分离超平面上； 
      4. 若图a_i^*=C,,则x_i位于分离超平面误分一侧。 

posted on 2018-10-08 08:26 LeisureZhao 阅读(...) 评论(...) 编辑 收藏