小白学习——支持向量机

前言

自己最近在看周志华的《机器学习》，想要和大家一起分享自己的学习过程。
这是自己第一次写博客，排版什么的可能会有不少问题，希望大家多多包涵。

支持向量机

背景

在支持向量机之前，就已经接触过了逻辑回归。在逻辑回归中，代价函数与每个点的值都相关，通过一个激活函数来决定这个点是否被良好分类。所以，最终得到的直线将和样本中所有的点有关。
而在支持向量机中，思想十分简单，就是找到在两类样本点中，距离最近的，然后取他们的中间线，来作为分界线。之前在看吴恩达老师的”机器学习“的时候，就感觉支持向量机的思想十分简单，但是在读了西瓜书之后，才明白，原来最重要的是思想背后的实现。尤其是通过拉格朗日乘子法求对偶问题和SMO算法求出最优解，都是支持向量机问题中的精髓。

间隔和支持向量

首先，可以用一个线性方程来描述这个划分超平面：
$${\mathbf{\omega }}^{\mathbf{T}}\mathbf{x}+b=0.$$
这个时候，空间中任意点x到这个平面的距离可以写成：
$$r=\frac{\left|{\mathbf{\omega }}^{\mathbf{T}}\mathbf{x}+b\right|}{\left|\left|\mathbf{\omega }\right|\right|}.$$
这时候假设这个超平面$(\mathbf{\omega },b)$，能够将样本正确分类，也就是说对于任意$({\mathbf{x}}^i,y^i)\in D$，都能得到，若y_i=+1，则有${\mathbf{\omega }}^T{\mathbf{x}}_i+b>0$；若y_i=-1，则有${\mathbf{\omega }}^T{\mathbf{x}}_i+b<0$。通过缩放变换，就可以使其满足：
$$\{\begin{array}{l}{\omega }^{T}x+b\ge +1,y_i=+1;\\ {\omega }^{T}x+b\le -1,y_i=-1;\end{array}$$
使等号成立的训练样本点叫做”支持向量“，这个时候的距离之和为：
$$\gamma =\frac{2}{\parallel \mathbf{\omega }\parallel }$$
它就被称为”间隔“。

所以，为了找到一个最大间隔来作为划分超平面，这个时候需要来寻找合适的参数w和b的值来使得”间隔”最大化，即：
$$\begin{gathered} \underset{\omega ,b}{\max }\frac{2}{\parallel \omega \parallel } \\ s.t.y_i({\omega }^T{x}_i+b)\ge 1,i=1,2,\cdots ,m \end{gathered}$$
为了计算方便，就需要等价为：
$$\begin{gathered} \underset{\omega ,b}{max\frac{1}{2}}\parallel \omega {\parallel }^2 \\ s.t.y_i({\omega }^T{x}_i+b)\ge 1,i=1,2,\cdots ,m \end{gathered}$$
这就得到了支持向量机的基本型了。

核函数与非线性支持向量机

为了在后面的优化计算过程中得到通式，这里就像介绍核函数。可以看到，采用上述方法，只能对线性可分的变量进行划分，这样的支持向量机叫做线性可分支持向量机，而对于线性不可分的样本，可以通过将样本从原始空间映射到更高维的特征空间，使其在这个空间内线性可分。这本书中讲到，如果原始空间是有限维，那么一定存在一个高位特征空间使样本可分。我们可以假设这个映射函数为$\varphi (x)$，此时的模型就可以表示为：
$$f(x)={\omega }^T\varphi (x)+b$$
此时我们的优化目标就变为：
$$\begin{gathered} \underset{\omega ,b}{max\frac{1}{2}}\parallel \omega {\parallel }^2 \\ s.t.y_i({\omega }^T\varphi (x_i)+b)\ge 1,i=1,2,\cdots ,m \end{gathered}$$
在后续计算中，会涉及到$\varphi {(x_i)}^T\varphi (x_i)$，我们就定义一个函数：
$$K_{ij}=\kappa (x_i,x_j)=\varphi (x_i)\varphi (x_j)$$
而，$\kappa (\cdot ,\cdot )$就是“核函数”。
常用的核函数有：

通过拉格朗日乘子法进行优化

对于上述问题，可以通过拉格朗日乘子法进行优化（具体拉格朗日乘子法和自行百度），求出其对偶问题，添加拉格朗日乘子${\alpha }_i\ge 0$，那么可以将拉格朗日函数写为：
$$L(\omega ,b,\alpha )=\frac{1}{2}\parallel \omega {\parallel }^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\omega }^T\varphi (x_i)+b))$$
这个时候对w和b求偏导并置0，可以得到：
$$\begin{gathered} \omega =\sum _{i=1}^m{\alpha }_i{y}_i\varphi (x_i) \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$
将这个两个式子代入上式，就可以得到：
$$\begin{gathered} L(\omega ,b,\alpha )=\frac{1}{2}\parallel \omega {\parallel }^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\omega }^T\varphi (x_i)+b)) \\ =\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i\varphi (x_i)\sum _{j=1}^m{\alpha }_j{y}_j\varphi (x_j)+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i(\sum _{j=1}^m{\alpha }_j{y}_j\varphi {(x_j))}^T\varphi (x_i)-\sum _{i=1}^m{\alpha }_i{y}_{i}b(const) \\ =\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi {(x_i)}^T\varphi (x_j) \\ =\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{K}_{ij} \end{gathered}$$
从而对偶问题为：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{K}_{ij} \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0, \\ {\alpha }_i\ge 0,i=1,2,\dots ,m. \end{gathered}$$
此时，我们通过求对偶问题，将一个三个参数的优化问题，转化成了仅有$\alpha$的优化问题，并且能够解得$\alpha$的最优值，$\omega$和b的最优值使用KKT条件来求得：
$$\{\begin{array}{c}{\alpha }_i⩾0\\ y_{i}f(x_i)-1⩾0\\ {\alpha }_i(y_{i}f(x_i)-1)=0\end{array}$$
将w的值代入原函数，此时原函数就变成了：
$$f(x)=\sum _{i=1}^m{\alpha }_i{y}_i\kappa (x,x_i)+b$$

SMO算法求解最优解

在上述对偶问题中，我们需要找到${\alpha }_i$的最优值，来使目标函数最大，这是一个二次规划问题，但是如果使用常规二次规划算法，开销将非常大。这时候就介绍了一种很高效的算法，SMO算法，由Platt在1998年提出来。
SMO的基本思路使先固定${\alpha }_i$之外的所有参数，然后求在${\alpha }_i$上的极值，但是由于存在约束${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，若固定${\alpha }_i$之外的变量，则${\alpha }_i$的值也可被导出。所以，SMO算法每次选择两个变量${\alpha }_i$和${\alpha }_j$，并固定其他参数，然后不断求出所有${\alpha }_i$的值。（SMO算法这块，西瓜书上讲的并不详细，我又参考了李航的《统计学习方法》，来将这块补充完整）这两个变量的选择使用的是启发式算法，一个是违反KKT条件最严重的那一个，一个是由约束条件确定，这里具体不多讲述，有兴趣可以自己查阅相关资料。下面是具体优化算法。
假设此时只有${\alpha }_1$和${\alpha }_2$是变量，所以优化问题可以写成：
$$\begin{gathered} \underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^m{\alpha }_i{y}_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^m{\alpha }_i{y}_i{K}_{i2} \\ s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=\stackrel{m}{\underset{i=3}{-\sum }}{\alpha }_i{y}_i=\varsigma , \\ {\alpha }_i\ge 0,i=1,2. \end{gathered}$$
为了计算方便，我们令:
$$E_i=(\sum _{i=1}^N{\alpha }_j{y}_{j}K(x_j,x_i)+b)-y_i,i=1,2$$
$$v_i=\sum _{j=3}^m{\alpha }_j{y}_j{K}_{ij}$$
而由于${\alpha }_1{y}_1=\varsigma -{\alpha }_2{y}_2$以及$y_i^2=1$，可得：
$${\alpha }_1=(\varsigma -y_2{\alpha }_2)y_1$$
从而最终得到一个关于${\alpha }_2$的单变量优化目标函数：
$$W({\alpha }_2)=\frac{1}{2}{K}_{11}(\varsigma -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}(\varsigma -{\alpha }_2{y}_2){\alpha }_2-(\varsigma -{\alpha }_2{y}_2)y_1-{\alpha }_2+v_1(\varsigma -{\alpha }_2{y}_2)+y_2{v}_2{\alpha }_2$$
这个时候只需对${\alpha }_2$求导：
$$\frac{\partial W}{\partial {\alpha }_2}=K_{11}{\alpha }_2+K_{22}{\alpha }_2-2K_{12}{\alpha }_2-K_{11}\varsigma y_2+K_{12}\varsigma y_2+y_1{y}_2-1-v_1{y}_2+y_2{v}_1$$
令其为0，经过化简可以得到最终解：
$${\alpha }_2^{new}={\alpha }_2+\frac{y_2(E_1-E_2)}{\eta }$$
再通过约束求得${\alpha }_1$，从而得到最终结果。

总结

在支持向量机中，最重要的是使用了拉格朗日乘子法和SMO算法。拉格朗日乘子法的重要作用是将w的计算提前并消除w，使得优化函数变为拉格朗日乘子的单一参数优化问题。而SMO提供了一种巧妙地方法来解决二次优化问题。
在KKT条件中，我们可以看到，${\alpha }_i=0$或$y_{i}f(x_i)=1$，这就说明只与使等号成立的支持向量有关，这也是支持向量机和逻辑分类的区别。
在支持向量机中，还有一部分引入了软间隔的概念，提出了线性支持向量机，使得SVM能够处理一些出错样本。
随着我自己学习的深入，也会了解到更多更深的知识，这些东西以后再写把，这次就先到这里了。
公式纯手打，如有错误，敬请谅解。