1,线性可分,即能找到超平面,对于硬间隔支持向量机
2,部分点不可分,总体近似可分,近似线性可分,对应软间隔支持向量机
3,线性不可分,需要用到核函数
软间隔支持向量机要加个松弛变量ξ。
我们都知道,硬间隔满足,yi * ( wi * x + b )≥1,这是函数间隔,是几何间隔的||w|| 倍。
由于一些点出现在两条线的间隔内部,函数间隔的约束条件不满足,所以引入松弛变量ξ,使yi * ( wi * x + b ) + ξ ≥1,即:yi * ( wi * x + b ) ≥1 - ξ。对于这些离群点有对应的松弛变量,其他的点是没有松弛变量ξ的。
再来另外一个解释:
1,函数距离与几何距离
你需要明白两个概念,函数距离(函数间隔)和几何距离(几何间隔),先看个图:平行直线1与2之间的垂直距离d,就是几何距离,也就是我们平常计算的两条平行直线之间的距离。函数间隔,就是图中的d帽(暂时这么称呼):
它是两条平行直线在某一条轴线(例如x轴)上的距离。在二维平面,它是竖着的,如图中的蓝色线标注,也可以是横着的,图中未画出。
函数距离和几何距离之间有关系,在本例中为:
||w||是矩阵w的模
在本例中,函数距离(d帽)就是直线1减去直线2的距离,是1。把这个数带入函数距离(d帽),然后乘以2,就得到两条虚线间的间隔
看到了吗?这就是当初我们要最大化的那个式子。
还记得那个限制条件吗?
不等式右边的1 ,就是函数距离(d帽)。
也就是硬间隔支持向量机,它的数学模型为:
2,松弛变量是函数间隔
上面的一种情况是,我们找了两条直线,最大化他们的距离。但有时我们找的直线,它们中间有一些散落的点,这些点不满足那个限制条件。如下图所示:
不满足的样本,如图红色标注的4个点。
也就是由于这些特殊的点,限制条件不满足。这真是一只老鼠坏一锅汤!
怎么办呢?就该我们的主角上场了,对,就是松弛变量ξ。
为了方便叙述与理解,我只拿其中的一个点分析,下图中的红色点。
看图:
蓝色的线的长度就是引入的松弛变量ξ(ξ≥0)
由于d帽=1,相应的绿色的线的长度就是1-ξ
此时,红色的点到橙色的线(我们要确定的最终分割线),之间的函数距离为:
对于所有的样本点,都满足:
这就是引入松弛变量后的限制条件。
这就是软间隔支持向量机,它的数学模型为:
其中m是样本个数