1 直观定义
1.1 线性可分(Linear Separable)
如上图所示,特征空间为二维,并且是一个二分类问题。对于线性可分,指的就是存在一条直线可以将上图的o和×分开,就称为线性可分。对于三维的特征空间,分割的直线就变成了平面;对于四维以上,就称为超平面。
1.2 线性不可分(Nonlinear Separable)
与线性可分的定义恰恰相反,线性不可分指的是不存在一条直线,将特征空间中的特征分开。例如上图所示,不能用一条直线将o和x分开,则就是线性不可分。
2 数学定义
2.1 线性可分
如上图所示,同样是二分类问题。在这个二维空间中,我们可以找到一条直线将o和x分开,进一步我们假设出直线的方程为:
同样的,假设o所在的区域(C1)为,x所在的区域(C2)为
(人为规定,可以和上述例子不同)。其中
都是未知量。
接下来,我们用数学定义训练样本以及对应的标签。假设我们有N个训练样本以及对应的标签,记为。其中
,
,其中+1表示xi属于c1,-1表示xi属于c2。
线性可分的严格定义:一个训练样本集在i=1~N线性可分,是指存在
,使得对于i=1~N有:
对于向量形式的定义,假设
总结其最简化形式定义:一个训练样本集在i=1~N线性可分,是指存在
,使得对于i=1~N有: