分类算法学习笔记-SVM

    在看了很多篇博客之后，作为小白的我写一下我对svm的理解。

    1、svm（support vector machine)是一种二分类的方法，之所以被叫做：支持向量机，在我的理解上是因为算法要求找到一个基于向量的超平面，这个超平面将数据样本来进行一个划分。

它的基本模型被称作：间隔最大的分类器，原因在于所找到的超平面需要有最大的几何间隔，需要具有更好的鲁棒性，能够很好的区分数据样本。

    2、所以，第一步要做的就是找到这个超平面，超平面可以用来定义，以此得知要建立超平面就需要求出w和b的值。从最大间隔的要求入手，首先引入函数间隔：根据所得结果的正负来区分样本的类别，具体函数定义如下：

 但是需要注意的是，函数间隔定义下，会使得w和b的变动影响到间隔的变动，所以引入几何间隔的定义：

 

   所以求最大间隔就是要求：

 转化为求：

 又等价于求：

 引出对偶问题得以解决非线性的情况，而且对偶问题会使得求解变得更加容易，怎么样得到这个对偶问题下的目标函数呢？就是需要乘以一个拉格朗日乘子：

 

然后得到：

   在这种情况下求解超平面时就需要先求L对w、b的极小值，再求的极大值。

 3、在面对线性不可分的数据时，不能找到一个超平面对数据进行区分，此时可以选择将特征向量映射到更高维的特征空间，这个地方的理解如下图所示：

一维平面上找不到一个分界面，当映射到二维空间时，就能找到超平面了。

但是把所有的非线性的问题都映射到高维空间的话，计算量是相当大滴，所以需要用核函数来巧妙的避免这一麻烦。核函数做的就是直接在当前维度空间里面进行计算，再将结果映射到高维空间。

暂时写这么多，对于svm的理解还是不够透彻!!!