机器学习——支持向量机SVM

目录

1.1 SVM

1.2 寻找最大间隔 

最大化间隔目的：寻找参数w和b , 使得下述公式最大

间隔最大化的toy example:

1.1.2 SVM应用的一般框架

---

1.1 SVM

支持向量机是一种分类器，试图求解一个二次优化问题来最优化分类间隔。之所以称为“机”是因为它会产生一个二值决策结果，即它是一种决策“机”。支持向量机的泛化错误率越低，也就是说它具有较好的学习能力且学到的结果具有较好的推广性。

（1）优点：泛化错误率低，计算开销不大，结果易解释

（2）缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。

（3）适用数据类型：数值型和标称型数据

（4）分隔超平面：将下图数据集分割开来的直线称为分隔超平面（由于数据点都在二维平面上，此时分割超平面是直线；当所给数据集是三维的，此时用来分割数据的就是一个平面）

N-1维用来分割数据的对象就是超平面，也就是分类的决策边界。如果数据点离决策边界越远，那么其最后的预测也就越可信

最优分类超平面可以：（1）正确地训练数据进行分类；（2）对未知数据也能进行很好的分类

(5)SVM主要用于解决模式识别领域中的数据分类问题，属于有监督学习算法的一种

两个“间隔”：
（1）点到分隔面的距离，称为点相对于分隔面的间隔

（2）数据集中所有点到分割面的最小间隔的2倍，称为分类器或数据集的间隔

SVM分类器是要找最大的数据集间隔