SVM支持向量机三(软间隔处理规则化和不可分情况)

原创 2013年12月02日 14:05:58
SVM支持向量机三(软间隔处理规则化和不可分情况)

   前两章我们讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。那怎么办呢,我们需要将模型进行调整,以保证在不可分的情况下,也能够尽可能地找出分隔超平面。

本章我们将讲到:

 1.如何添加松弛变量和软间隔技术
 2.违背KKT条件的点条件

--------------------------------------------------------------------------

1.如何添加松弛变量和软间隔技术

首先我们先看下面的游离点的情况:图一(左),图二(右)




对于上述情况,我们如果仍然希望图二中还是虚线的情况下(因为这种情况虽然目前分的很好,但是考虑到未来最理想的情况仍然是虚线最好),那我们应该怎么办呢?

可以看到一个离群点(可能是噪声)可以造成超平面的移动,间隔缩小,可见以前的模型对噪声非常敏感。再有甚者,如果离群点在另外一个类中,那么这时候就是线性不可分了。这时候我们应该允许一些点游离并在在模型中违背限制条件(函数间隔大于1)。我们设计得到新的模型如下(也称软间隔):



这个时候原始问题就会进一步发生变化变为:Soft margin 情况!!!
这个时候啊,我们在用图来表示就更容易清楚了!!!


以下为推导的情况:




下面重点来了,刚才还没讲透彻呢

 2.违背KKT条件的点条件


根据这个公式,
违背了KKT条件的点判断条件(ζi完全可以忽略的,因为它正常都是>0,这个值可以由C来控制):

 1. alphas[i] == 0 and [y*(w* xi+b) -1
] < 0 
 2. alphas[i] == C and [y*(w* xi+b) -1
] > 0

 3. alphas[i]  > 0 and alphas[i]<C  and [y*(w* xi+b) -1
!= 0

这3个很有用,我们编程的时候要优先选择这些不符合KKT条件的点进行更新,就是要先if判断,在更新!!!还有C越大就越能容忍离群点的,超平面就越理想。


SVM支持向量机四(SMO算法)
可以参考我另一篇文章SVM支持向量机四(SMO算法)


机器学习(7)——支持向量机(三):线性支持向量机和软间隔最大化

前两章讨论支持向量机时,假设了数据最终是能完全被分开,即数据在原始特征空间或映射到高维特征空间之后能够完全正确分类。但是,这样绝对的分类存在一个明显的问题,如果模型中存在异常点,即使高维映射之后,能够...

【机器学习基础】软间隔支持向量机

引言在上一小节中,我们介绍了核支持向量机。于是,不管是简单的问题还是复杂的问题,我们都可以做得到。 然而,像高斯核的方法太复杂了,可能造成过拟合的问题。导致过拟合的现象的原因有可能是你选择特征转换太...

对SVM的理解

之前以为SVM很强大很神秘,自己了解了之后发现原理并不难,不过,“大师的功力在于将idea使用数学定义它,使用物理描述它”,这一点在看SVM的数学部分的时候已经深刻的体会到了,最小二乘法、梯度下降法、...

《SVM笔记系列之五》软间隔线性支持向量机

《SVM笔记系列之五》软间隔线性支持向量机 前言在以前的文章中,我们介绍了支持向量机的基本表达式,那是基于硬间隔线性支持向量机的,即是假设数据是完全线性可分的,在数据是近似线性可分的时候,我们不能继...

机器学习----支持向量机(软间隔与正则化)

支持向量机的软间隔和正则化,这节对机器学习的本质进行一个粗浅的探讨。...

SVM原理介绍与Python实现(四):利用规则化(regularization)处理不可分情况

四、规则化和不可分处理 我们一直假设数据是可分的,不论是引入核函数前的线性可分SVM,还是利用核函数处理非线性数据,都是在可分的情况下。如果不是因为数据本身的非线性结构而是由噪声数据引起的偏离要怎么...

SVM-6-规则化和不可分情况处理

我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能保证一定可分。从下图我们可以看出,当样本中有一个离群点时就会很...

拉格朗日 SVM KKT

在R中使用支持向量机(SVM)(1) 1. 线性SVM   假设有分布在Rd空间中的数据,我们希望能够在该空间上找出一个超平面(Hyper-pan),将这一数据分成两类。属于这一类的数...

SVM 支持向量机(2) 软间隔最大化与核方法

软间隔支持向量机, 核方法, 核诡计

机器学习——支持向量机SVM之软间隔与正则化

《机器学习》学习笔记
  • codman
  • codman
  • 2017年10月18日 23:45
  • 92
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:SVM支持向量机三(软间隔处理规则化和不可分情况)
举报原因:
原因补充:

(最多只允许输入30个字)