机器学习之支持向量机(SVM)

支持向量机是一种二分类模型。有简至繁：

• 线性可分支持向量机(linear support vector machine in linearly separate case),当训练数据线性可分时，可以通过硬间隔最大化，学习一个线性分类器。
• 线性支持向量机(linear support vector machine)，当训练数据近似线性可分时，通过软间隔最大化，学习线性分类器。
• 非线性支持向量机(non-linear support vector machine)，当训练数据不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

本章节参考李航的《统计学习方法》

1. 线性可分支持向量机与硬间隔最大化

1.1 间隔最大化

假设给定一个特征空间上的训练数据集

T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } (1) T = \{(x_1, y_1), (x_2, y_2), ..., (x_N, y_N) \} \tag1 T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}(1)

其中$x_i$是第$i$个样本的特征向量，$y_i$是第$i$个样本的标签， y i ∈ { + 1 , − 1 } y_i \in \{+1, -1 \} yi​∈{+1,−1}.

学习目标是在特征空间中找到一个分离超平面，能将实例分到不同的类。分离超平面对应的方程$w\ast x+b=0$,分离超平面将特征空间划分为两部分，一部分为正类，另一部分为负类。

一般来说，一个点距离分离超平面的远近可以表示分类预测的确信程度。$|w\ast x+b|$能够相对表示点$x$距离超平面的距离，而$w\ast x+b$的符号与类标记$y$的符号是否一致能够表示分类是否正确。所以可以用$y(w\ast x+b)$表示函数间隔（functional margin）。

定义超平面关于样本点$(x_i,y_i)$的函数间隔为

$${\hat{\gamma }}_i=y_i(w\ast x_i+b)\text{\hspace{1em}(2)}$$

所有样本中的最小间隔为

$$\hat{\gamma }=\underset{i=1,..,N}{\min }{\hat{\gamma }}_i\text{\hspace{1em}(3)}$$

上面的表示中，成比例改变$w,b$不会改变超平面，但是会改变函数间隔，所以可以做一些规范化操作

也就是几何间隔：

$${\gamma }_i=y_i(\frac{w}{||w||}\ast x+\frac{b}{||w||})\text{\hspace{1em}(4)}$$

则最小几何间隔

$$\gamma =\underset{i=1,...,N}{\min }{\gamma }_i\text{\hspace{1em}(5)}$$

下面考虑如何求得一个几何间隔最大的分离超平面，这个问题可以表示为下面的约束最优化问题：

$$\begin{array}{rl}& \underset{w,b}{\max }\gamma \\ & st...y_i(\frac{w}{||w||}\ast x_i+\frac{b}{||w||})\ge \gamma ,i=1,2,...,N\end{array}\text{\hspace{1em}(6)}$$

也可以写为：

$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}\\ & st...y_i(w\ast x_i+b)\ge \hat{\gamma },i=1,2,...,N\end{array}\text{\hspace{1em}(7)}$$

其中$\hat{\gamma }$的取值并不影响最优化问题的解, 去$\hat{\gamma }=1$,又最大化$\frac{\hat{\gamma }}{||w||}$等价于最小化$\frac{1}{2}||w|{|}^2$。于是就可以得到线性可分支持向量机学习的最优化问题：

$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ & st...y_i(w\ast x_i+b)\ge 1,i=1,2,...,N.\end{array}\text{\hspace{1em}(8)}$$

1.2 学习的对偶算法

首先构建拉格朗日函数，引进拉格朗日乘子${\alpha }_i\ge 0,i=1,2,...,N$,定义拉格朗日函数：

$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\ast x_i+b)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(9)}$$

其中，$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$为拉格朗日乘子向量。

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：

$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )\text{\hspace{1em}(10)}$$

(1)求${\min }_{w,b}L(w,b,\alpha )$

将拉格朗日函数$L(w,b,\alpha )$分别对$w,b$求偏导并令其等于0.

$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$

$$\frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$

得到：

$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(11)}$$

$$\sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(12)}$$

将上式结果带回拉格朗日函数得到：

$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)-\sum _{i=1}^N{\alpha }_i{y}_i((\sum _{j=1}^N{\alpha }_j{y}_j{x}_j)\ast x_i+b)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$

即：

$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(13)}$$

(2)求$mi{n}_{w,b}L(w,b,\alpha )$对$\alpha$的极大，即是对偶问题：

$$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)+\sum _{i=1}^N{\alpha }_i\\ & st...\sum _{i=1}^N{\alpha }_i{y}_i=0;{\alpha }_i\ge 0,i=1,2,...,N\end{array}\text{\hspace{1em}(14)}$$

将求极大转化为求极小可以得到：

$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)+\sum _{i=1}^N{\alpha }_i\\ & st...\sum _{i=1}^N{\alpha }_i{y}_i=0;{\alpha }_i\ge 0,i=1,2,...,N\end{array}\text{\hspace{1em}(15)}$$

KKT条件

• Lagrangian: Inequality Constraint
  $$\begin{gathered} \min f(x) \\ st...h(x)\le 0 \end{gathered}$$
  转化为：
  $$\min f(x)+\lambda h(x)$$
  设有条件的最优解正好满足限制条件$h(x)\le 0$ ⇒ $\lambda =0,h(x)\le 0$
  设有条件的最优解不满足限制条件$h(x)\le 0$ ⇒ $\lambda >0,h(x)=0$
  以上两个条件合并就可以得到： $\lambda h(x)=0$
  所以：

$$\begin{gathered} \min f(x) \\ st...h(x)\le 0 \end{gathered}$$
转化为：
$$\begin{gathered} \min f(x)+\lambda h(x) \\ st...\lambda h(x)=0;h(x)\le 0 \end{gathered}$$

• KKT条件
  如果我们有等式的条件也有不等式的条件
  $$\begin{array}{rl}\min :& f(x)\\ st...:& g_i(x)=0\\ & h_i(x)\le 0,i=1,2,...,N\end{array}$$
  转化为
  $$\begin{array}{rl}\min :& f(x)+\sum _{i=1}^N{\lambda }_i{g}_i(x)+\sum _{j=1}^N{\mu }_j{h}_j(x)\\ st...:& {\lambda }_i,{\mu }_j>0\\ & {\mu }_j{h}_j(x)=0,\\ & h_i(x)\le 0,i=1,2,...,N\end{array}$$

下面就用KKT条件进行求解

首先线性可分支持向量机学习的最优化问题：

$$\begin{array}{rl}& \underset{w,b}{\min }：\frac{1}{2}||w|{|}^2\\ & st...：y_i(w\ast x_i+b)\ge 1,i=1,2,...,N.\end{array}$$

根据KKT条件可以转化为：

$$\begin{array}{rl}\underset{w,b}{\min }:& \frac{1}{2}||w|{|}^2+\sum _{i=1}^N{\lambda }_i[1-y_i(w\ast x_i+b)]\\ st...:& {\lambda }_i\ge 0,\\ & {\lambda }_i[1-y_i(w\ast x_i+b)]=0,\\ & 1-y_i(w\ast x_i+b)\le 0,i=1,2,...,N.\end{array}$$

设${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_l^{\ast })$是对偶最优化问题的解。

可以得到

$$\begin{array}{rl}& \frac{\partial L}{\partial w}=w-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0\\ & \frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0\\ & {\alpha }_i[1-y_i(w\ast x_i+b)]=0,i=1,2,...,N\\ & 1-y_i(w\ast x_i+b)\le 0,i=1,2,...,N\\ & {\lambda }_i\ge 0,i=1,2,..,N\end{array}$$

由此可以得到：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

其中至少一个${\alpha }_j^{\ast }>0$,因为${\alpha }_j^{\ast }\ge 0$, 不可能全部为0，所以至少一个大于0.

所以就有

$$1-y_j(w\ast x_j+b)=0$$

因为$y_j^2=1$

可以得到

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\ast x_j)$$

分离超平面可以写为

$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\ast x_i)+b^{\ast }=0$$

分类决策函数可以写为

$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\ast x_i)+b^{\ast })$$

2. 线性支持向量机与软间隔最大化

2.1 软间隔

如果训练数据中有不可分奇异点，硬间隔最大化就不能成立，所以需要一个松弛变量${\xi }_i\ge 0$,使得函数间隔加上松弛变量大于1。这样，约束条件就变成为了：

$$y_i(w\ast x_i+b)\ge 1-{\xi }_i\text{\hspace{1em}(16)}$$

同时，目标函数变为：

$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\text{\hspace{1em}(17)}$$

其中，$C>0$为惩罚参数，$C$值大时对误分类的惩罚增大。

线性不可分的线性支持向量机的学习问题变成如下凸二次规划问题：

$$\begin{array}{rl}& \underset{w,b,\alpha }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\\ & st...y_i(w\ast x_i+b)\ge 1-{\xi }_i;{\xi }_i\ge 0,i=1,2,...,N\end{array}\text{\hspace{1em}(18)}$$

2.2 学习的对偶问题

软间隔问题的拉格朗日函数为

$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\ast x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i\text{\hspace{1em}(19)}$$

其中${\alpha }_i\ge 0,{\mu }_i\ge 0$。

对偶问题时拉格朗日的极大极小问题。首先求$L(w,b,\xi ,\alpha ,\mu )$对$w,b,\xi$的极小值

$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$

$$\frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$

$$\frac{\partial L}{\partial \xi }=C-{\alpha }_i-{\mu }_i=0$$

得到：

$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(20)}$$

$$\sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(21)}$$

$$C-{\alpha }_i-{\mu }_i=0\text{\hspace{1em}(22)}$$

带回拉格朗日函数得到：

$$\underset{w,b,\xi }{\min }L(w,b,\alpha ,\xi ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(23)}$$

再求对$\alpha$极大值，即得对偶问题：

$$\begin{array}{rl}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)+\sum _{i=1}^N{\alpha }_i\\ s.t...& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i\ge 0\\ & {\mu }_i\ge 0,i=1,2,...,N.\end{array}\text{\hspace{1em}(24)}$$

转化之后可以得到

$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\ast x_j)+\sum _{i=1}^N{\alpha }_i\\ s.t...& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le \alpha \le C,i=1,2,...,N.\end{array}\text{\hspace{1em}(25)}$$

下面依据KKT条件进行求解

线性不可分的线性支持向量机的学习问题变成如下凸二次规划问题：

$$\begin{array}{rl}\underset{w,b,\alpha }{\min }:& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\\ st...:& y_i(w\ast x_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0,i=1,2,...,N\end{array}$$

根据KKT条件可以得到：

$$\begin{array}{rl}\min :& L=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\ast x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i\\ st...:& {\alpha }_i(y_i(w\ast x_i+b)-1+{\xi }_i)=0\\ & {\mu }_i{\xi }_i=0\\ & y_i(w\ast x_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0\\ & {\alpha }_i\ge 0\\ & {\mu }_i\ge 0,i=1,2,...,N\end{array}$$

同样可以得到：

$$\begin{array}{rl}& \frac{\partial L}{\partial w}=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ & \frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & \frac{\partial L}{\partial \xi }=C-{\alpha }_i-{\mu }_i=0\\ & {\alpha }_i(y_i(w\ast x_i+b)-1+{\xi }_i)=0,i=1,2,...,N\\ & {\mu }_i{\xi }_i=0,i=1,2,...,N\\ & y_i(w\ast x_i+b)\ge 1-{\xi }_i,i=1,2,...,N\\ & {\xi }_i\ge 0,i=1,2,...,N\\ & {\alpha }_i\ge 0,i=1,2,...,N\\ & {\mu }_i\ge 0,i=1,2,...,N\end{array}$$

若存在$0<{\alpha }_j^{\ast }<C$,同样可以得到：

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\ast x_j)$$

分离超平面可以写为

$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\ast x_i)+b^{\ast }=0$$

分类决策函数可以写为

$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\ast x_i)+b^{\ast })$$

2.3 合页损失函数

$$\begin{array}{rl}\underset{w,b,\alpha }{\min }& \frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\\ st...& y_i(w\ast x_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0,i=1,2,...,N\end{array}$$

又上式可得：

$${\xi }_i=\max (0,1-y_i(w\ast x_i+b))$$

上式就为合页损失函数(hinge loss function).

等价的最优化问题：

$$\underset{w,b}{\min }\sum _{i=1}^N\max (0,1-y_i(w\ast x_i+b))+\lambda ||w|{|}^2$$

其中$\lambda =\frac{1}{2C}$

第一项可以理解为，当样本被正确分类且函数间隔$y_i(w\ast x_i+b)>1$，损失为0，否则损失为$1-y_i(w\ast x_i+b)$;
第二项可以理解为正则化项。

其实我们解决SVM问题也可以直接对上面的式子进行梯度下降法求解 ，但是这样做有缺点，一个是在求解过程中会出现判断条件，计算速度会慢；二是没有办法运用核技巧进行非线性映射。

3. 非线性支持向量机与核函数

先看一个例子
$$\begin{gathered} x=(x_1,x_2),z=(z_1,z_2) \\ \Rightarrow (x\ast z)=(x_1{z}_1+x_2{z}_2) \\ \varphi (x)=(x_1^2,x_2^2,\sqrt{2}{x}_1{x}_2);\varphi (z)=(z_1^2,z_2^2,\sqrt{2}{z}_1{z}_2) \\ \Rightarrow \varphi (x)\ast \varphi (z)=(x_1^2{z}_1^2+x_2^2{z}_2^2,2x_1{x}_2{z}_1{z}_2)=(x\ast z{)}^2 \end{gathered}$$

可以利用解线性分类问题的方法求解非线性分类问题的支持向量机。

所以分类决策函数可以写作：

$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\varphi (x_i)\ast \varphi (x)+b^{\ast })=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$

比如运用多项式和函数可以得到：

$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\ast x+1{)}^p+b^{\ast })$$

运用高斯和函数可以得到：

$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\exp (-\frac{||x_i-x|{|}^2}{2{\sigma }^2})+b^{\ast })$$