线性支持向量机（SVM）

1. 线性支持向量机（SVM）基本原理

1.1 线性SVM要解决的问题

给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) , y i ∈ { − 1 , + 1 } } D = \{ ( \bm{x_1}, y_1), (\bm{x_2}, y_2), ..., (\bm{x_m}, y_m), y_i \in \{ -1, +1 \} \} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​),yi​∈{−1,+1}}, 支持向量机的基本思想就是基于训练集$D$在样本空间中找到一个超平面，将不同类别的样本分开。但是能够将训练样本分开的超平面有很多，我们应该找哪一个呢？

图1

直观上看，应该寻找两类训练样本中“正中间”的超平面，即图1中最粗的线。这条线能够将两类样本分隔开，并且对新的样本泛化能力强，最具鲁棒性。
在样本空间中，超平面可以用如下线性方程描述：
$${\mathbf{w}}^T\mathbf{x}+b=0\text{\hspace{1em}(1)}$$

其中$\mathbf{w}=(w_1;w_2;,...,w_d)$为法向量，决定了超平面的方向，$b$为位移项，决定了超平面与原点之间的距离。我们将超平面记为$(\mathbf{w},b)$.
假设超平面$(\mathbf{w},b)$能够将训练样本正确分类，即对于$({\mathbf{x}}_{\mathbf{i}},y_i)\in D$，若$y_i=+1$，则有${\mathbf{w}}^T{\mathbf{x}}_i+b>0$；若$y_i=-1$，则有${\mathbf{w}}^T{\mathbf{x}}_i+b<0$。通过缩放，令：
$$\{\begin{array}{r}{\mathbf{w}}^T{\mathbf{x}}_i+b\ge +1,y_i=+1\\ {\mathbf{w}}^T{\mathbf{x}}_i+b\le -1,y_i=-1\end{array}\text{\hspace{1em}(2)}$$
如图2所示，距离超平面最近的这几个点使得式$(2)$等号成立，它们被称为“支持向量”（support vector），两个异类支持向量到超平面的距离之和为：
$$\gamma =\frac{2}{||\mathbf{w}||},\text{\hspace{1em}(3)}$$

它被称“间隔”（margin）。

图2

要找到“最大间隔”（maximum margin）的超平面，也就是要找到满足式$(2)$中约束参数$\mathbf{w}$和 $b$，使得$\gamma$最大，即：
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\max }\frac{2}{||\mathbf{w}||}\\ & s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,...,m.\end{array}\text{\hspace{1em}(4)}$$

为了方便后续的计算，我们将式$(4)$重写为：
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2\\ & s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,...,m.\end{array}\text{\hspace{1em}(5)}$$

这就是SVM的基本型。

1.2 对偶问题

式（5）是一个凸二次规划（convex quadratic programming）问题，能直接用现成的优化计算包求解，但是我们可有用更高效的办法。对式（5）每条约束添加拉格朗日乘子${\alpha }_i\ge 0$，则该问题的拉格朗日函数可以写为：
$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}||\mathbf{w}|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))\text{\hspace{1em}(6)}$$

其中，$\mathbf{\alpha }=({\alpha }_1;{\alpha }_2;...;{\alpha }_m)$。令$L(\mathbf{w},b,\mathbf{\alpha })$对$\mathbf{w}$ 和 $b$的偏导为零可得：
$$\mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i,\text{\hspace{1em}(7)}$$

$$0=\sum _{i=1}^m{\alpha }_i{y}_i,\text{\hspace{1em}(8)}$$

将式（7）和（8）代入式（6）中，得到式（6）的对偶问题：
$$\begin{array}{rl}& \underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_i{\mathbf{x}}_i^T{\mathbf{x}}_j^T\\ & s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,\\ & {\alpha }_i\ge 0,i=1,2,...,m.\end{array}\text{\hspace{1em}(9)}$$

求解得到$\mathbf{\alpha }$后，可以求得$\mathbf{w}$ 和 $b$，最终得到分类模型：
$$\begin{array}{rl}f(x)& ={\mathbf{w}}^T\mathbf{x}+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^T\mathbf{x}+b.\end{array}\text{\hspace{1em}(10)}$$

上述过程需要满足KKT条件（Karush-Kuhn-Tucher），即求：
$$\{\begin{array}{r}{\alpha }_i\ge 0;\\ y_{i}f({\mathbf{x}}_i)-1\ge 0;\\ {\alpha }_i(y_{i}f({\mathbf{x}}_i)-1)\ge 0;\end{array}\text{\hspace{1em}(11)}$$

于是，对于任意训练样本$({\mathbf{x}}_i,y_i)$，总有${\alpha }_i=0$ 或 $y_{i}f({\mathbf{x}}_i)=1$。若${\alpha }_i=0$，则该样本不会再式（10）中出现，也就不会对分类器有任何影响；若${\alpha }_i\ge 0$，则必有$y_{i}f({\mathbf{x}}_i)=1$，所对应的样本点位于最大间隔边界上，是一个支持向量。因此，最终模型仅与支持向量有关。