SVM深入理解

一、SVM原理

在实际应用中，大多情况下数据并不是线性可分的，这个时候满足这样条件的超平面根本就不存在，而本文将主要针对了解SVM算法在解决线性不可分类时，对特征集进行多项式、核函数转换（升维）将其转换为线性可分类问题的思想。所以就有了核函数。
核函数特点：①不需要每次都具体计算出原始样本点映射的新的无穷维度的样本点，直接使用映射后的新的样本点的点乘计算公式即可；②减少计算量③减少存储空间④一般将原始样本变形，通常是将低维的样本数据变为高维数据，存储高维数据花费较多的存储空间；使用核函数，不用考虑原来样本改变后的样子，也不用存储变化后的结果，只需要直接使用变化的结果进行运算并返回运算结果即可；
核函数的方法和思路不是 SVM 算法特有，只要可以减少计算量和存储空间，都可以设计核函数方便运算；
对于比较传统的常用的机器学习算法，核函数这种技巧更多的在 SVM 算法中使用；

多项式核函数

思路：设计一个函数（K(x,x))，传入原始样本(x(i)、xi)，返回添加了多项式特征后的新样本的计算结果(x’(i) , xi) ;

内部过程：先对x、xj添加多项式，得到: xi)、xi)，再进行运算: x(i) .x(i) ;

其实不使用核函数也能达到同样的目的，这里核函数相当于一个技巧，更方便运算;

2. 高斯/RBF核函数：
   高斯核函数也叫RBF核（Radia Basis Function Kernel），核函数依赖升维使得原本线性不可分的数据变得线性可分。高斯核本质是在衡量样本和样本之间的“相似度”，在一个刻画“相似度”的空间中，让同类样本更好的聚在一起，进而线性可分。

业务的目的是样本分类，采用的方法：按一定规律统一改变样本的特征数据得到新的样本，新的样本按新的特征数据能更好的分类，由于新的样本的特征数据与原始样本的特征数据呈一定规律的对应关系，因此根据新的样本的分布及分类情况，得出原始样本的分类情况。

应该是试验反馈，将样本的特征数据按一定规律统一改变后，同类样本更好的凝聚在了一起；

高斯核和多项式核干