8、支持向量机SVM

支持向量机

1、支持向量机的应用领域：

支持向量机可用于回归、分类和异常检验，前者即为支持向量机回归，后者为支持向量机分类。支持向量机应用在许多领域，包括手写数字识别、对象识别、演说人识别，以及基准时间序列预测检验；基因分组；文本分类（比如每篇文档的主题）；检测一些很少发生但很重要的事件，比如内燃机引擎故障，地震，security breach。

 

SVM训练速度较慢；SVM能够对复杂的非线性边界建模，不容易过分拟合；SVM总能发现全局最优解。

在实践中，不可能事先判定一个数据集是否线性可分，因此可以先假设数据可分并验证，如果不成立再假设数据不可分。

SVM的研究目标主要是提高训练和检验速度，使得SVM可以成为超大型数据集更可行的选择。其他问题包括，为给定的数据集确定最佳核函数，为多类问题找出更有效的方法。

SVM使用非线性分类器的优势，而逻辑模式以及决策树模式都是使用了直线方法。

1、SVM思想和原理

1）SVM的主要思想可以概括为两点：

①它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行分析成为可能。

②SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分问题。简单地说，就是升维和线性化。升维，就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性，甚至会引起“维数灾难”，因而人们很少问津。但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）。一般的升维都会带来计算的复杂化，SVM方法巧妙的解决了这个难题；应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾难”。这一切要归功于核函数的展开和计算理论。

 

2）SVM可以想象成为一个曲面边界将各种点在多维空间中利用点的特征值进行分割。SVM的目标就是寻找一个超平面，来将点分类。二维空间的超平面是一条直线；三维空间的超平面是一个平面。寻找类间最大区分的那个平面，能更好的对将来的新数据进行区分。

支持向量机：是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。因为这样的数据本身就是线性不可分的。SVM的一般做法是：将所有待分类的点映射到“高维空间”，然后在高维空间中找到一个能将这些点分开的“超平面”。仅仅找到超平面是不够的，因为在通常的情况下，满足条件的“超平面”的个数不是唯一的。SVM 需要的是利用这些超平面，找到这两类点之间的“最大间隔”。

 

数据点是n维空间中的点，把这些点通过一个n-1维的超平面分开，通常这个被称为线性分类器。找到分类最佳的平面，即属于两个不同类的数据点间隔最大的那个面，该面亦称为最大间隔超平面，那么这个分类器就称为最大间隔分类器。

支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。建立方向合适的分隔超平面使两个与之平行的超平面间的距离最大化。为什么要找到最大间隔呢？几何间隔越大的解，它的误差上界越小。因此最大化几何间隔成了我们训练阶段的目标。

H是分类面，而H1和H2是平行于H，且过离H最近的两类样本的直线，H1与H，H2与H之间的距离就是几何间隔。

几何间隔与样本的误分次数间存在关系：

其中的δ是样本集合到分类面的间隔，R=max ||xi|| i=1,...,n，即R是所有样本中（xi是以向量表示的第i个样本）向量长度最长的值（也就是说代表样本的分布有多么广）。先不必追究误分次数的具体定义和推导过程，只要记得这个误分次数一定程度上代表分类器的误差。而从上式可以看出，误分次数的上界由几何间隔决定！（当然，是样本已知的时候）

 

无法确定分类线（线性超平面）时该怎么办？

此时可以将数据点投影到一个高维空间，在高维空间中它们可能就变得线性可分了。其目的是为了最大化两个类的边界之间的距离。

我的数据点多于两个类时该怎么办？

此时支持向量机仍将问题看做一个二元分类问题，但这次会有多个支持向量机用来两两区分每一个类，直到所有的类之间都有区别。

2、核函数的本质   

对于非线性可分的情况：SVM利用kernel来完成非线性空间的分类。

1. 实际中，我们会经常遇到线性不可分的样例，此时，我们的常用做法是把样例特征映射到高维空间中去；维度大小是会高到可怕的。那咋办呢？

2. 此时，核函数就隆重登场了，核函数的价值在于将特征进行从低维到高维的转换，但核函数事先在低维上进行计算，而将实质上的分类效果表现在了高维上，避免了直接在高维空间中的复杂计算。

4、VC维和outlier

分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。

VC维（Vapnik-Chervonenkis Dimension）的概念是为了研究学习过程一致收敛的速度和推广性，由统计学习理论定义的有关函数集学习性能的一个重要指标。

传统的定义是：对一个指标函数集，如果存在H个样本能够被函数集中的函数按所有可能的2的K次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阀值将它转化成指示函数来定义。

VC维反映了函数集的学习能力，VC维越大则学习机器越复杂（容量越大），遗憾的是，目前尚没有通用的关于任意函数集VC维计算的理论，只对一些特殊的函数集知道其VC维。例如在N维空间中线形分类器和线形实函数的VC维是n+1。

 

对于这种偏离正常位置很远的数据点，我们称之为 outlier ，在我们原来的 SVM 模型里，outlier的存在有可能造成很大的影响，因为超平面本身就是只有少数几个 supportvector 组成的，如果这些 support vector 里又存在 outlier 的话，其影响就很大了。

5、SVM特点

SVM训练速度较慢；SVM能够对复杂的非线性边界建模，不容易过分拟合；SVM总能发现全局最优解。

(1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；

(2)对特征空间划分的最优超平面是SVM的目标,最大化分类边界的思想是SVM方法的核心；

(3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。

(4)SVM是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预测样本的“转导推理”,大大简化了通常的分类和回归等问题。

(5)SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。

(6)少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在:（鲁棒性又称健壮性）

①  增、删非支持向量样本对模型没有影响;

②支持向量样本集具有一定的鲁棒性;

③有些成功的应用中,SVM 方法对核的选取不敏感

 

SVM的优点：可以同时用于分类和预测；不会过多受噪声数据影响，也不易overfitting。

支持向量机不足

(1)SVM训练过程较慢，尤其在大量特征或者样本时

    由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。 (2) 用SVM解决多分类问题存在困难

经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。如：与粗集理论结合，形成一种优势互补的多类问题的组合分类器。

（3）寻找最佳模型需要尝试不同的kernel以及模型参数；

（4）模型复杂，黑盒模型，结果不易解释。