SVM算法的总结--从原理理解SVM算法

SVM算法总结

本文是看了几个博客后，写的总结笔记。

SVM由线性分类开始

给定一个训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y m ) } , y ∈ { − 1 , 1 } D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_m)\}, y \in \{-1,1\} D={ (x1​,y1​),(x2​,y2​),...,(xn​,ym​)},y∈{ −1,1}.
线性分类器基于训练样本$D$在二维空间中找到一个超平面来分开二类样本，显然这样的超平面会有很多。

我们可以直观的看到，这更红色线代表的超平面抗扰动性最好。这个超平面离直线两边的数据的间隔最大，对训练集的数据的局限性或噪声有最大的容忍能力。

在这里，这个超平面可以用函数$f(x)=w^{T}x+b$来表示。当$f(x)$等于0的时候，$x$便是位于超平面上的点，而$f(x)$大于0的点对应$y=1$的类别点，$f(x)$小于0的点对应$y=-1$的类别点。

为了计算的方便，我们不妨令:
$$\{\begin{array}{ll}{w}^T{x}_i+b\ge 1,& y_i=+1;\\ w^T{x}_i+b\le -1,& y_i=-1;\end{array}$$

接下来，我们可以计算平面外的一个点到平面的距离，假设$x^{\prime }$是平面$w^{T}x+b=0$上的一个点，$x$是平面外的一个点，$w$是平面的法向量，那么点$x$到平面的距离就是点$x$与平面上的任意一点的连线，在法向量$w$上的投影的长度：
$$d=|(x-x^{\prime })\cos (\theta )|=|||x-x^{\prime }||\cdot \frac{(x-x^{\prime })w}{||x-x^{\prime }||\cdot ||w||}|=\frac{1}{||w||}|w^{T}x-w^T{x}^{\prime }|$$

其中，点$x^{\prime }$在平面上，所以可以得到$w^T{x}^{\prime }+b=0$，点$x$是正类中距离平面最近的点，即满足$w^{T}x+b=1$,代入上式可得：
$$d=\frac{1}{||w||}1-b-(-b)=\frac{1}{||w||}$$
这只是正类中距离超平面的最短距离，在负类中，同样存在着一个最短距离，所以最后的间隔就是：
$$d=\frac{2}{||w||}$$

至此，我们求到了间隔，SVM的思想就是使得间隔最大化，也就是：
$$\begin{array}{rl}& ma{x}_{w,b}\frac{2}{||w||}\\ & s.t.y{y}_i(w^T{x}_i+b)\ge 1(i=1,2,...,m)\end{array}$$
显然最大化$\frac{2}{||w||}$，也就是最小化$||w||$，为了计算方便，可以将上式转换我：
$$\begin{array}{rl}& mi{n}_{w,b}\frac{1}{2}||w|{|}^2,\\ & s.t.y{y}_i(w^T{x}_i+b)\ge 1(i=1,2,...,m)\end{array}$$
这也就是支持向量机的基本型。

对偶问题

我们已经得到了支持向量机的基本形式了：
$$\begin{array}{rl}& mi{n}_{w,b}\frac{1}{2}||w|{|}^2,\\ & s.t.y{y}_i(w^T{x}_i+b)\ge 1(i=1,2,...,m)\end{array}$$
这个公式其实就是一个凸二次规划问题.

• 目标函数和约束条件都是变量的线性函数，叫做线性规划问题。
• 目标函数为变量的二次函数，约束条件为变量的线性函数，叫做二次规划问题。
• 目标函数和约束条件都为非线性函数，叫做非线性规划问题。
• 凸优化：$x\in R^n$为一凸集，$f:X\to R$为一凸函数，凸优化就是要找出一点$x^{\ast }\in X$，使得任意$x\in X$，都满足$f(x^{\ast })\le f(x)$。可以想象成给我一个凸函数，我要去找到最低点。

我们可以对上式使用拉格朗日乘子法，得到它的对偶问题。

• 这就是拉格朗日对偶性，也就是通过使用拉格朗日乘子法，把约束条件写入目标函数中。

具体的拉格朗日函数为：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))$$

其中${\alpha }_i\ge 0$，这样设置${\alpha }_i$的原因是因为我们的目标函数是不等式约束，那么要想解这样的二次规划问题，我们选用KKT条件，而KKT条件的一个约束之一就是${\alpha }_i\ge 0$，最终我们希望能够通过KKT条件产生原问题的对偶问题。
那么我们现在的目标就是最小化$L(w,b,\alpha )$。

在这之前，我们先介绍以下拉格朗日对偶以及KKT条件。

拉格朗日对偶以及KKT

拉格朗日等式约束：
$$\begin{array}{rl}max& f(x)\\ s.t.& g(x)=0\\ \Downarrow & \\ L(x,\lambda )& =f(x)+\lambda g(x)\\ \Downarrow & \\ 求导：& \{\begin{array}{l}\frac{\partial L}{\partial x}=0\\ g(x)=0\end{array}\end{array}$$

所以对于等式约束$g(x)=0$的具体处理方法就是：给约束乘以一个系数加到原命题上，然后求导求出结果。

拉格朗日不等式约束：
$$\begin{array}{rl}max& f(x)\\ s.t.& g(x)\ge 0\\ \Downarrow & \\ L(x,\lambda )& =f(x)+\lambda g(x)\\ \Downarrow & \\ 分两种情况：\{\begin{array}{l}\frac{\partial L}{\partial x}=0\\ g(x)=0\\ \lambda >0\end{array}和\{\begin{array}{l}\frac{\partial L}{\partial x}=0\\ g(x)>0\\ \lambda =0\end{array},& 合并两种情况\Rightarrow \{\begin{array}{l}\frac{\partial L}{\partial x}=0\\ g(x)\ge 0\\ \lambda \ge 0\\ \lambda g(x)=0\end{array}\end{array}$$
这个就是不等式约束的情况。

拉格朗日同时出现等式和不等式约束：
$$\begin{array}{r}max\\ s.t.\\ \Downarrow \\ L(x,\end{array}$$