支持向量机松弛变量的理解

首先要清楚：
1，线性可分，即能找到超平面，对于硬间隔支持向量机
2，部分点不可分，总体近似可分，近似线性可分，对应软间隔支持向量机
3，线性不可分，需要用到核函数

软间隔支持向量机要加个松弛变量ξ。
我们都知道，硬间隔满足，yi * ( wi * x + b )≥1，这是函数间隔，是几何间隔的||w|| 倍。
由于一些点出现在两条线的间隔内部，函数间隔的约束条件不满足，所以引入松弛变量ξ，使yi * ( wi * x + b ) + ξ ≥1，即：yi * ( wi * x + b ) ≥1 - ξ。对于这些离群点有对应的松弛变量，其他的点是没有松弛变量ξ的。

再来另外一个解释：

1，函数距离与几何距离

你需要明白两个概念，函数距离（函数间隔）和几何距离（几何间隔），先看个图：

平行直线1与2之间的垂直距离d，就是几何距离，也就是我们平常计算的两条平行直线之间的距离。函数间隔，就是图中的d帽（暂时这么称呼）：