SVM原理

参考：
http://eric-gcm.iteye.com/blog/1981771
https://blog.csdn.net/wsj998689aa/article/details/47027365
（1）SVM的引入，线性可分（通常，先是看二维）——后在一并假设在高维空间中也能找到一条线性可分的直线；由于直线可旋转，因此满足条件的有很多条，怎么选择最好的那一条，需要引入刻画该线性可分模型的分割，注意（此处两点定义：（1）一组数据（一组样本）到该线性可分直线的间隔的定义：取得是所有点中到这条直线间隔中最小的那条间隔；（2）模型好坏的定义：使正负样本距离这条线性直线间隔最大的那条直线；在此基础上，理论推导，首先引入线性可分表达式，定义距离，将前面两个定义转化为约束和目标函数，通过进一步转化，（考虑到参数和截距成倍增长，会导致间隔翻4倍，但其实平分直线并没有改变，因此，进行归一化），将最大化目标函数转化成最小化（是二次方的），由于条件约束是线性的，因此问题为二次优化，可用现成的包，也可用拉格朗日对偶极值法求；

上述思路只能处理线性情况，要处理非线性情况，需要考虑到核函数；
核函数解决了：原本高维空间需要用自变量多次组合表达的困难情形，比如2个变量，可以表达高维空间中5个基向量（包含常数项）；3个变量对应19个基向量，诸如此类…………..；数量随着自变量维度增加，高维空间表达越来越复杂；因此，通过一种技术，类似于PCA里面的一种推导，高维空间表示：可以通过低维空间的自变量作为基向量，将低维空间自变量进行构造模型，再通过一个高维映射得到；；这个与先将低维向量映射到高维向量，然后在高维向量中建模，其可以达到的结果一样，这就是核函数的功效；一个是F(x),F(y)——先映射到高维建模；一个是F(x,y)——直接基于原来空间建模，一样！！！

总结，核心理论点：
（1）样本点（正样本点）到平分线的间隔；——最初始的表示，进一步转乘约束
（2）正样本、负样本点到平分线的间隔——目标函数
（3）将约束及目标函数组合，构成最终模型；
（4）通过拉格朗日对偶方法求取模型

上述是针对线性可分，针对非线性可分，引入核函数；