SVM算法详解

Support Vector Machine

终于，我们来到了SVM。SVM是我个人感觉机器学习中最优美的算法，这次我们要来非常细致地介绍。SVM是一类有监督的分类算法，它的大致思想是：假设样本空间上有两类点，我们希望找到一个划分超平面，将这两类样本分开，而划分超平面应该选择泛化能力最好的，也就是能使得两类样本中距离它最近的样本点距离最大。

Hard Margin&Dual Problem

Hard Margin

如图所示，中间那条加粗的超平面就是我们所求的最优划分超平面。我们知道平面的方程可以用线性方程：$w^{T}x+b=0$来表示，$w=(w_1,w_2,\dots ,w_n)$表示的是平面的法矢量。现在，我们假设样本空间$D=\{(x_i,y_i)|i\in Z^{+}\}$中只有两个类别的样本，类别标记分别为$y_i=1$或$y_i=-1$。那么对于$(x_i,y_i),y_i=1$，超平面得到的结果$w^T{x}_i+b\ge 1$；反之，$w^T{x}_i+b\le -1$。因此我们有：
$$\{\begin{array}{l}{w}^T{x}_i+b\ge 1,y_i=1\\ w^T{x}_i+b\le -1,y_i=-1\end{array}$$
某一个样本点$(x_i,y_i)$到划分超平面的距离公式为：
$$\gamma =\frac{|w^T{x}_i+b|}{||w||}$$
考虑两类样本点中距离划分超平面最近的样本，这类样本恰好能够使得上式中的等号成立，如图：

我们称这类距离划分超平面最近的样本点为“支持向量”，称$\gamma =\frac{2}{||w||}$为“间隔”。

之前我们说到了，我们希望这个间隔能够最大化来使得模型泛化能力最强，因此我们的任务就是：
$$\begin{gathered} maximiz{e}_w\frac{2}{||w||} \\ s.t.y_i(w^T{x}_i+b)\ge 1 \end{gathered}$$
这个任务等价于：
$$\begin{gathered} minimiz{e}_w\frac{1}{2}||w|{|}^2 \\ s.t1-y_i(w^T{x}_i+b)\le 0 \end{gathered}$$
这就变成了一个非常典型的凸优化问题。

Dual Problem

对于求条件极值，我们自然要先写出他的Lagrange乘子式：
$$L(\alpha ,w,b)=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i(1-y_i(w^T{x}_i+b))$$
我们的任务是$minimizeL(\alpha ,w,b)$。
下面考虑它的dual problem：
$$mi{n}_{w,b}ma{x}_{\alpha }L(\alpha ,w,b)$$
接下来求出$L$对$w,b$的偏导：
$$\begin{gathered} {\nabla }_{w}L=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i \\ {\nabla }_{b}L=-\sum _{i=1}^n{\alpha }_i{y}_i=0\sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$
代入 L ( α , w , b ) L(\alpha, w, b)