SVM(支持向量机)原理

1.SVM - support vector machine (支持向量机),是一种有监督的分类算法;
有监督的分类模型:就是事先对数据打上标签,这样机器就知道数据是哪个分类.
无监督是事先没有打标签,比如数据聚类,然后对每个类精心分析.
SVM通常是帮我们模式识别,分类以及回归分析.

2.SVM计算的过程就是找到超平面的过程.



3.支持向量机分类
1>完全线性可分:硬间隔(完全分类正确)
2>大部分线性可分:软间隔(允许分类错误)
3>线性不可分:核函数(将原始空间映射到高维空间.使样本在新空间线性可分)


4.SVM如何解决多分类问题
SVM本身是个二值分类器.但是如果要多分类,我们可以将多个二分类器组合起来形成多分类器.
常见方法有"一对多法"与"一对一法"两种.

1.一对多法:将一种分类做正集,其他做负集.
比如A,B,C,D四个分类.可以构造4中SVM
（1）样本 A 作为正集，B，C，D 作为负集；
（2）样本 B 作为正集，A，C，D 作为负集；
（3）样本 C 作为正集，A，B，D 作为负集；
（4）样本 D 作为正集，A，B，C 作为负集
这样k个分类有k个分类器.分类速度快,但训练速度慢.
因为每个训练都要对全部样本进行训练.而且负样本大于正样本,会造成样本不对称的情况.而且增加新的分类,就要重新对分类器进行构造.

2.一对一法
可以再任意两个样本之间构造一个SVM,就会有 C(K,2)类分类器.
比如我们想要划分 A、B、C 三个类，可以构造 3 个分类器：
（1）分类器 1：A、B；（2）分类器 2：A、C；（3）分类器 3：B、C。
这样的好处在与如果新增一类,不需要重新训练所有SVM,只需不上新增与其他.这种方法在训练单个SVM模型,训练速度快.
但是不足在于,分类器个数与类数的平方成正比,所以分类树太大,训练与测试时间慢


另外关于 SVM 分类器的概念，我希望你能掌握以下的三个程度：
(1)完全线性可分情况下的线性分类器，也就是线性可分的情况，是最原始的 SVM，它最核心的思想就是找到最大的分类间隔；
(2)大部分线性可分情况下的线性分类器，引入了软间隔的概念。软间隔，就是允许一定量的样本分类错误；
(3)线性不可分情况下的非线性分类器,引入了核函数。它让原有的样本空间通过核函数投射到了一个高维的空间中，从而变得线性可分。