机器学习算法——支持向量机

支持向量机（SVM，support vectors machine）的算法原理比较简单，就是寻找最大间隔讲两个类别分开，从数学上推可能复杂点。按照样本的情况一下三种：

①当训练样本线性可分时，通过硬间隔最大化——线性可分支持向量机；

②当训练样本近似线性可分时，通过软间隔最大化——线性支持向量机；

③当训练样本线性不可分时，通过核技巧和软间隔最大化——非线性支持向量机；

首先从线性可分支持向量机开始推导，要找到讲两个样本分隔开的超平面，且使两边到超平面距离最近的点到超平面距离之和最大。这个超平面表示为：

                                                 

那我们就可以通过sign(y(x))来预测一个样本时属于正类还是负类。我们将分为正类的yi设为+1，负类为-1，即yi∈{+1，-1}，对于超平面上下的点有：

                                               

点到超平面的距离为：

                                                 

总可以缩放w的方式将分子的最小项（即离超平面最近的点）等于1，即令|y|≥1。这样原来的目标函数为

                                                 

就变成了新的目标函数：

                                              

因为我们主要是想求得该目标函数时对应的w和b值，随意可以对目标函数稍作变化，原来的求解问题：

                                          

变为求最小值

                                       

接下来要做的就是利用拉格朗日乘子法来求解这个问题了。一般优化问题的拉格朗日乘子法具体如下：

                                         

那原来的问题对应的拉格朗日函数为：

                                          

这里需要对目前的问题转换为其对偶问题，原问题是极小极大值问题（对于对偶问题，这个网址介绍的比较清楚，可以参见http://www.hanlongfei.com/convex/2015/11/05/duality/）：

                                               

其对偶问题是极大极小值问题：

                                               

拉格朗日函数L(w, b, α)对w、b求导得到：

                                            

回代到原拉格朗日函数L(w, b, α)得到：

                                         

整理得到：

                                        

这个问题解得最优解，代入下式计算：

                                          

进而可以得到超平面：

                                            

得到分类决策函数：

                                        

 

对于线性支持向量机，是针对不一定分类完全正确的超平面就是最好的（主要是靠近超平面的点可能标记错误等），以及样本数据点本身不可以线性可分（比如边界附近两类点相互混杂）的情况，如下图：

                                                               

我们要做的就是在约束条件中加入约束因子ξ：

                                                                

目标函数变成了

                                                                

其中C值代表严格程度，C值越大越严格，越不允许分错（趋于无穷是即为前面的线性可分支持向量机了），C值越小，缓冲带越大，越包容中间可以分错的情况。目标函数求解的过程与前面相似，不再赘述了。

核函数是针对在原始的特征空间中样本线性不可分，因此使用核函数将原始特征空间映射到新的高维空间中，从而使样本可以在核空间中可分。常常使用的核函数有：

-多项式核函数

                                      

-高斯核函数，也叫做径向基函数（RBF，Radial Basis Function ）

                                     

-Sigmoid核函数

                                  

但是将点映射到多维空间会是计算量极大的增加，但是我们发现K<x, y>=<Φ(x), Φ(y)>，也就是说在高维空间的计算其实等于核函数在低维空间的计算，这样便极大的降低了计算量。

核函数所反映的低维向高维的映射关系是不确定的，例如展开后为

                                                

假如原始特征空间是2维的，则Φ(x)可以是将2维映射到4维如Φ(x)=（，，， ），也可以是3维如Φ(x)=（，， ）。高斯核函数是映射到无穷维特征空间的，推导如下：

                                            

其中Φ(x)的映射表达式为：

                                            

在实际应用中，往往依赖先验领域知识或者交叉验证等方法来确定有效的核函数，当没有更多先验知识时，一般使用高斯核函数。