一、简介
支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：
&当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；
&当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；
&当训练样本线性不可分时，通过核技巧和软间隔最大化，学习一个非线性支持向量机；
二、线性可分支持向量机
如果一个线性函数能够将样本分开，称这些数据样本是线性可分的。那么什么是线性函数呢？其实很简单，在二维空间中就是一条直线，在三维空间中就是一个平面，以此类推，如果不考虑空间维数，这样的线性函数统称为超平面。我们看一个简单的二维空间的例子，O代表正类，X代表负类，样本是线性可分的，但是很显然不只有这一条直线可以将样本分开，而是有无数条，我们所说的线性可分支持向量机就对应着能将数据正确划分并且间隔最大的直线。
那么我们考虑第一个问题，为什么要间隔最大呢？一般来说，一个点距离分离超平面的远近可以表示分类预测的确信度，如图中的A B两个样本点，B点被预测为正类的确信度要大于A点，所以SVM的目标是寻找一个超平面，使得离超平面较近的异类点之间能有更大的间隔，即不必考虑所有样本点，只需让求得的超平面使得离它近的点间隔最大。
接下来考虑第二个问题，怎么计算间隔？只有计算出了间隔，才能使得间隔最大化。在样本空间中，划分超平面可通过如下线性方程来描述：
其中w为法向量，决定了超平面的方向，b为位移量，决定了超平面与原点的距离。假设超平面能将训练样本正确地分类，即对于训练样本(xi,yi)，满足以下公式：
公式（2）称为最大间隔假设，yi=+1 表示样本为正样本，yi=−1 表示样本为负样本，式子前面选择大于等于+1，小于等于-1只是为了计算方便，原则上可以是任意常数，但无论是多少，都可以通过对 w 的变换使其为 +1 和 -1 ，此时将公式（2）左右都乘以 yi，得到如下：
实际上等价于：
训练集中的所有样本都应满足公式（3）。如下图所示，距离超平面最近的这几个样本点满足 yi(wTxi+b)=1，它们被称为“支持向量”。虚线称为边界，两条虚线间的距离称为间隔（margin）。
下面我们开始计算间隔，其实间隔就等于两个异类支持向量的差在 w 上的投影，即：
小Tips：||w||是什么符号？||w||叫做向量w的范数，范数是对向量长度的一种度量。我们常说的向量长度其实指的是它的2-范数，范数最一般的表示形式为p-范数，可以写成如下表达式：向量w=(w1, w2, w3,…… wn)，它的p-范数为
其中 x+ 和 x− 分别表示两个正负支持向量，因为 x⃗ + 和 x⃗ − 满足 yi(wTxi+b)=1，即：
至此，我们求得了间隔，SVM的思想是使得间隔最大化，也就是：
显然，最大化 2/||w|| 相当于最小化 ||w||，为了计算方便，将公式（6）转化成如下：
公式（7）本身是一个凸二次规划问题，可以使用现有的优化计算包来计算，但我们选择更为高效的方法。对公式（7）使用拉格朗日乘子法得到其对偶问题(强对偶就是说对偶式子的最优值等于原问题的最优值)，该问题的拉格朗日函数可以写为：
公式（8）分别对 w 和 b求偏导：
解出 α 之后，根据公式（9）可以求得 w ， 进而求得 b，可以得到模型：
若 αi=0，则其不会在公式（13）中的求和项中出现，也就是说，它不影响模型的训练；
若 αi>0，则 yif(xi)−1=0，也就是 yif(xi)=1，即该样本一定在边界上，是一个支持向量。
这里显示出了支持向量机的重要特征：当训练完成后，大部分样本都不需要保留，最终模型只与支持向量有关。
三、非线性支持向量机和核函数
对于非线性问题，线性可分支持向量机并不能有效解决，要使用非线性模型才能很好地分类。先看一个例子，如下图，很显然使用直线并不能将两类样本分开，但是可以使用一条椭圆曲线（非线性模型）将它们分开。非线性问题往往不好求解，所以希望能用解线性分类问题的方法求解，因此可以采用非线性变换，将非线性问题变换成线性问题。
对于这样的问题，可以将训练样本从原始空间映射到一个更高维的空间，使得样本在这个空间中线性可分，如果原始空间维数是有限的，即属性是有限的，那么一定存在一个高维特征空间是样本可分。令ϕ(x)表示将 x 映射后的特征向量(即x从底维空间变到高维空间的表示)，于是在特征空间中，划分超平面所对应的的模型可表示为：
其对偶问题为：
若要对公式（16）求解，会涉及到计算 ϕ(xi)Tϕ(xj)，这是样本 xi 和 xj映射到特征空间之后的内积，由于特征空间的维数可能很高，甚至是无穷维，因此直接计算 ϕ(xi)Tϕ(xj)通常是困难的，于是想到这样一个函数：
即 xi 和 xj 在特征空间中的内积等于他们在原始样本空间中通过函数 κ(xi,xj) 计算的函数值，于是公式（16）写成如下：
这里的函数 κ(xi,xj) 就是核函数，核函数的基本作用就是接受两个低维空间里的向量，能够计算出经过某个变换后在高维空间里的向量内积值。在实际应用中，通常人们会从一些常用的核函数里选择（根据样本数据的不同，选择不同的参数，实际上就得到了不同的核函数），下面给出常用的核函数：
四、线性支持向量机（软间隔支持向量机）与松弛变量
在前面的讨论中，我们假设训练样本在样本空间或者特征空间中是线性可分的，但在现实任务中往往很难确定合适的核函数使训练集在特征空间中线性可分，退一步说，即使瞧好找到了这样的核函数使得样本在特征空间中线性可分，也很难判断是不是由于过拟合造成。
线性不可分意味着某些样本点 (xi,yi) 不能满足间隔大于等于1的条件，样本点落在超平面与边界之间。为解决这一问题，可以对每个样本点引入一个松弛变量 ξi≥0，使得间隔加上松弛变量大于等于1，这样约束条件变为：
同时，对于每一个松弛变量 ξi≥0，支付一个代价 ξi≥0，目标函数变为：
一是并非所有的样本点都有一个松弛变量与其对应。实际上只有“离群点”才有，或者也可以这么看，所有没离群的点松弛变量都等于0（对负类来说，离群点就是在前面图中，跑到H2右侧的那些负样本点，对正类来说，就是跑到H1左侧的那些正样本点）。
二是松弛变量的值实际上标示出了对应的点到底离群有多远，值越大，点就越远。
三是惩罚因子C决定了你有多重视离群点带来的损失，显然当所有离群点的松弛变量的和一定时，你定的C越大，对目标函数的损失也越大，此时就暗示着你非常不愿意放弃这些离群点，最极端的情况是你把C定为无限大，这样只要稍有一个点离群，目标函数的值马上变成无限大，马上让问题变成无解，这就退化成了硬间隔问题。
四是惩罚因子C不是一个变量，整个优化问题在解的时候，C是一个你必须事先指定的值，指定这个值以后，解一下，得到一个分类器，然后用测试数据看看结果怎么样，如果不够好，换一个C的值，再解一次优化问题，得到另一个分类器，再看看效果，如此就是一个参数寻优的过程，但这和优化问题本身决不是一回事，优化问题在解的过程中，C一直是定值，要记住。
五是尽管加了松弛变量这么一说，但这个优化问题仍然是一个优化问题（汗，这不废话么），解它的过程比起原始的硬间隔问题来说，没有任何更加特殊的地方。)
注意其中C的位置，也可以回想一下C所起的作用（表征你有多么重视离群点，C越大越重视，越不想丢掉它们）。这个式子是以前做SVM的人写的，大家也就这么用，但没有任何规定说必须对所有的松弛变量都使用同一个惩罚因子，我们完全可以给每一个离群点都使用不同的C，这时就意味着你对每个样本的重视程度都不一样，有些样本丢了也就丢了，错了也就错了，这些就给一个比较小的C；而有些样本很重要，决不能分类错误（比如中央下达的文件啥的，笑），就给一个很大的C。
其中 C>0为惩罚参数，C值大时对误分类的惩罚增大， C值小时对误分类的惩罚减小，公式（21）包含两层含义：使 1/2*||w||^2 尽量小即间隔尽量大，同时使误分类点的个数尽量小，C是调和两者的系数。
有了公式（21），可以和线性可分支持向量机一样考虑线性支持向量机的学习过程，此时，线性支持向量机的学习问题变成如下凸二次规划问题的求解（原始问题）：
与线性可分支持向量机的对偶问题解法一致，公式（22）的拉格朗日函数为：
令 L(w,b,α,ξ,μ) 对 w,b,ξ的偏导数为0可得如下：
解出 α 之后，根据公式（9）可以求得 w ， 进而求得 b，可以得到模型：
上述过程的KKT条件为：
我们分析一下，对于任意的训练样本 (xi,yi) ，总有 αi=0 或者 yif(xi)−1+ξi=0 。
- 若 αi<C， 则必有 μi>0 ，根据公式（28）知 ξi=0 ，即该样本恰好落在最大间隔的边界上；
- 若 αi=C ，则 μi=0，此时若 ξi≤1 则该样本在最大间隔内部，若 ξi>1 则样本分类错误。
思考：松弛变量也就是个解决线性不可分问题的方法罢了，但是回想一下，核函数的引入不也是为了解决线性不可分的问题么？为什么要为了一个问题使用两种方法呢？
其实两者还有微妙的不同。一般的过程应该是这样，还以文本分类为例。在原始的低维空间中，样本相当的不可分，无论你怎么找分类平面，总会有大量的离群点，此时用核函数向高维空间映射一下，虽然结果仍然是不可分的，但比原始空间里的要更加接近线性可分的状态（就是达到了近似线性可分的状态），此时再用松弛变量处理那些少数“冥顽不化”的离群点，就简单有效得多啦。
五、总结
至此，关于SVM的三类问题：线性可分支持向量机与硬间隔最大化，非线性支持向量机与核函数，线性支持向量机与软间隔最大化一一介绍完毕，最后附上博主 Duanxx 对SVM使用范围的一段总结：
我们所面对的所有的机器学算法，都是有适用范围的，或者说，我们所有的机器学习算法都是有约束的优化问题。而这些约束，就是我们在推导算法之前所做的假设。
比如：Logistics Regression，在Logistics Regression中，假设后验概率为Logistics 分布；再比如：LDA假设fk(x)fk(x)是均值不同，方差相同的高斯分布；这些都是我们在推导算法之前所做的假设，也就是算法对数据分布的要求。
而对于SVM而言，它并没有对原始数据的分布做任何的假设，这就是SVM和LDA、Logistics Regression区别最大的地方。这表明SVM模型对数据分布的要求低，那么其适用性自然就会更广一些。如果我们事先对数据的分布没有任何的先验信息，即，不知道是什么分布，那么SVM无疑是比较好的选择。
但是，如果我们已经知道数据满足或者近似满足高斯分布，那么选择LDA得到的结果就会更准确。如果我们已经知道数据满足或者近似满足Logistics 分布，那么选择Logistics Regression就会有更好的效果。
2913
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
