1. 基于最大间隔分割数据
支持向量机:
优点:泛化错误率低,计算开销不大,结果易解释。
缺点:对参数调节和函数的选择敏感,原始分类器不加修改仅适用于处理二类问题。
适用数据类型:数值型和标称型数据。
图1.1 4个线性不可分数据集
而如图1.2 的方框A中的两类数据之间分隔足够开,很容易在图中画出一条直线将两组数据点分开。这种情况下,这组数据被称为线性可分数据。
图1.2 A框中给出了一个线性可分的数据集,B、C、D框中各自给出了一条可以将两类数据分开的直线
上述将数据集分隔开来的直线称为分隔超平面。上面例子的数据点都在二维平面上,所以分隔超平面就只是一条直线。但若给的数据集是三维的,则用来分隔数据的就是一个平面。更高维的情况也可以以此类推。如果数据集是1024维的,那么就需要一个1023维的某某对象来对数据进行分隔,而这个对象被称为超平面,也就是分类的决策边界。分布在超平面一侧的所有数据都属于某个类别,而分布在另一侧的所有数据则属于另一个类别。
鉴于上,我们希望能采用这种方式来构建分类器,即如果数据点离决策边界越远,那么其最后的预测结果也就越可信。图1.2的B、C、D框都能将数据分隔开,但我们希望找到离分隔超平面最近的点,确保它们离分隔面的距离尽可能远。这里点到分隔面的距离被称为间隔。也就是希望这个间隔尽可能大,这样如果我们犯错或者在有限数据上训练分类器,分类器相对会更健壮。
支持向量就是离分隔超平面最近的那些点。所以我们要解决的是:优化求解方法以求最大化支持向量到分隔面的距离。