关于线性SVM以及非线性SVM的问题

        犹记得开题报告之际，我在报告中提出了采用线性SVM进行分类，胡老师提出问题，让我解释什么是线性SVM，而我却解释不清楚，顿时特别尴尬，后来查阅了比较多的相关内容，希望能有所感悟。下面开始讨论正题：

       支持向量机 (SVM)是一个类分类器，正式的定义是一个能够将不同类样本在样本空间分隔的超平面。换句话说，给定一些标记(label)好的训练样本 (监督式学习),SVM算法输出一个最优化的分隔超平面。SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。

 

   （1）广义最优分类面

      

 

        SVM常用于研究小样本问题，这里所说的“小样本”是相对于无穷样本而言的，故只要样本数不是无穷，都可称为小样本，更严格地说，应该称为“有限样本”。

 

 一、原理     

        支持向量机是基于线性划分的。但是可以想象，并非所有数据都可以线性划分。如二维空间中的两个类别的点可能需要一条曲线来划分它们的边界。支持向量机的原理是将低维空间中的点映射到高维空间中，使它们成为线性可分的。再使用线性划分的原理来判断分类边界。在高维空间中，它是一种线性划分，而在原有的数据空间中，它是一种非线性划分。

 二、SVM的应用领域

         其应用领域非常广，分类、回归、密度估计、聚类等等，而在分类的应用方面特别广，在分类应用中，SVM可以选择线性核，多项式核，高斯核，依据问题而定，对于特征维数较高的问题，常用线性核。

       （1）线性核的优点（即线性SVM）：

           a、预测函数f(x) = w’*x+b非常简单，分类速度快 。线性分类器的w系数可以事先计算出来。（非线性分类器在高维空间时支持向量数会非常多，分类速度远低于线性分类器）

           b、 线性SVM的推广性有保证，而非线性，如高斯核有可能过学习。

         （2）非线性SVM

           若在应用中，所需要处理的特征维数特别低，样本数远超过特征维数，则选用非线性核，如高斯核是比较合理的。如果两类有较多重叠，则非线性SVM的支持向量特别多，选择稀疏的非线性SVM会是一个更好的方案，支持向量少分类速度更快，如下图。