原理:
SVM是一种二分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。(间隔最大化是它的独特之处),通过该超平面实现对位置样本集的分类。
·当训练样本线性可分时,通过硬间隔最大化,学习一个线性分类器,即线性可分支持向量机。
·当训练数据近似线性可分时,引入松弛变量,通过软间隔最大化,学习一个线性分类器,即线性支持向量机。
·当训练数据线性不可分时,通过使用核技巧及软间隔最大化,学习非线性支持向量机。
SMO算法的三个细节性问题:
1. 如何选择每次优化的两个α?
2. 如何更新选中的α?
3. SMO的终止条件是什么?
SVM核函数意义、种类和选择
意义:原始样本空间中可能不存在这样可以将样本正确分为两类的超平面,但是我们知道如果原始空间的维数是有限的,也就是说属性数是有限的,则一定存在一个高维特征空间能够将样本划分。SVM通过核函数将输入空间映射到高维特征空间,最终在高维特征空间中构造出最优分离超平面,从而把平面上本身无法线性可分的数据分开。
核函数的真正意义是做到了没有真正映射到高维空间却达到了映射的作用,即减少了大量的映射运算。
选择:
·利用专家先验知识选定核函数,例如已经知道问题是线性可分的,就可以使用线性核,不必选用非线性核。
- 如果特征的数量大到和样本数量差不多,则选用线性核函数SVM或LR;
- 如果特征的数量小,样本的数量正常,则选用高斯核函数SVM
- 如果特征