SVM支持向量机学习笔迹

前言

最近，抽了一些时间阅读了李航老师的《统计学习方法》的支持向量机相关章节。读着读着发现我之前对于该节的理解十分的浅薄，虽然目前还不能把所有内容全部吃透，我选择将相关内容记录下来，以便后续进行更加深入的研究。

正文

支持向量机（support vector machines）是一种二分类模型，它的本质其实是一种定义在特征空间的线性分类器。而根据特征空间中所给的特征数据不同，支持向量机通常可以分为：线性可分支持向量机，线性支持向量机，以及非线性支持向量机。

线性可分支持向量机

何为在特征空间中线性可分呢，直观的理解方式如下图所示：

即：特征空间上的向量可以轻易被超平面分割成两类。
这类问题的求解方法为最大间隔法，所谓间隔可以被分为：函数间隔和几何间隔。

（函数间隔）：对于给定的训练数据集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为
$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔之最小值，即：
$$\hat{\gamma }=\underset{i=1,...,N}{\min }{\hat{\gamma }}_i$$
（几何间隔）由于$w,b$可以成倍增长或者缩小导致最终的结果会发生相应的变化，所以又引入了几何间隔的概念，与函数间隔的区别在于规范化了$w$：对于给定的训练数据集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为
$${\gamma }_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})$$定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔之最小值，即：
$$\gamma =\underset{i=1,...,N}{\min }{\hat{\gamma }}_i$$

通过最大间隔化，可以推导出此时需要解决的原始优化问题为（推导过程省略，感兴趣可以自行翻阅相关章节）：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,...,N \end{gathered}$$
求得最优化问题的解$w^{\ast },b^{\ast }$，得到线性可分的支持向量机以此确定超平面：
$$w^{\ast }\cdot x+b^{\ast }=0$$
分类决策函数是：
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$
性质：

• 线性可分支持向量机的最优解存在且唯一；
• 位于间隔边界上的实例点为支持向量；
• 最优分离超平面由支持向量完全决定。

上述原始问题换个角度其实就是二次规划问题，可以引入拉格朗日乘子，原始问题与拉格朗日算子问题在特定条件下为对偶问题。
$$\begin{gathered} \min \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0{\alpha }_i\ge 0,i=1,2,...N \end{gathered}$$对于该类拉格朗日算子解法可以表示为：
（1）构造上述优化问题，并通过求偏导的方法求出${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$最优解；
（2）计算$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$并选择${\alpha }^{\ast }$的一个正分量${\alpha }_j^{\ast }>0$，计算$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$
（3）求得超平面与决策函数。

线性支持向量

在现实中如开始的那幅图所示的情况毕竟仍是少数，往往每个类别中都会出现个别奇异点，或者是额外噪声的情况，只能看作是近似可分的。所以我们需要引入额外的松弛变量${\xi }_i$，得到线性支持向量机学习的凸二次规划问题。其原始最优化问题为：
$$\begin{gathered} \underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,...N \\ {\xi }_i\ge 0,i=1,2,...N \end{gathered}$$其中C为惩罚系数，一般由实际问题决定，加入额外的一项的含义可以进行如下的解释：在分类间隔尽可能大的情况下使得误分类点的个数尽可能的小。
求解原始最优化问题的解$w^{\ast },b^{\ast }$，得到线性支持向量机，其分离超平面为
$$w^{\ast }\cdot x+b^{\ast }=0$$分类决策函数为：
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$
线性支持向量机的解$w^{\ast }$唯一但$b^{\ast }$并不一定唯一。
该类支持向量机所对应的对偶问题为：
$$\begin{gathered} \min \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=00\le {\alpha }_i\le C,i=1,2,...N \end{gathered}$$求解该类问题的算法为：
（1）构造上述式子，并通过求偏导的方法求出${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$最优解；
（2）计算$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$适合条件$0<{\alpha }_j^{\ast }<C$,计算$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_j)$$
（3）求得超平面与分类决策函数
性质：

• 对偶问题的解 ${\alpha }^{\ast }$中满足${\alpha }^{\ast }>0$的实例点$x_i$称为支持向量(具体细分规则，请看下图)；
• 支持向量可在间隔边界上，也可在间隔边界与分离超平面之间，或者在分离超平面误分一侧；
• 最优分离平面由支持向量决定。
  

线性支持向量机学习等价于最小化二阶范数正则化的合页函数：
$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$其中目标函数的第一项是经验损失，且下表”+“的含义为：
$$z_{+}=\{\begin{array}{l}z,z>0\\ 0,z<0\end{array}$$

非线性支持向量机

简单来说，该类情况发生于特征空间内的数据集没有办法利用超平面来进行区分，所以需要通过核函数进行非线性变换之后，转换成常规的线性向量机的问题，那么其中的关键就在于将对偶问题中的内积替换成核函数。
具体地，$K(x,z)$是一个核函数，意味着存在一个从输入空间$X$到特征空间$H$的映射$\varphi (x):X\to H$，对任意$x,z\in X$，有：
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$对称函数$K(x,z)$为正定核的充要条件如下：对任意$x_i\in X，i=1,2,...m$，任意正整数$m$，对称函数$K(x,z)$对应的Gram矩阵是半正定的。
那么该类支持向量机的对偶问题为：
$$\begin{gathered} \min \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=00\le {\alpha }_i\le C,i=1,2,...N \end{gathered}$$求解该类问题的算法为：
（1）构造上述式子，并通过求偏导的方法求出${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$最优解；
（2）计算$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }$适合条件$0<{\alpha }_j^{\ast }<C$,计算$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }K(x_i,x_j)$$
（3）求得超平面与分类决策函数$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x,x_j)+b^{\ast })$$常用的核函数为：
1、多项式核函数$$\begin{gathered} K(x,z)=(x\cdot z+1{)}^p \\ f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_i(x_i\cdot x+1{)}^p+b^{\ast }) \end{gathered}$$
2、高斯核函数$$\begin{gathered} K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2}) \\ f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{\ast }{y}_{i}exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})+b^{\ast }) \end{gathered}$$
3、字符串核函数（略）

SMO算法（简略介绍）

该算法是一种支持向量机学习的快速算法，特点是不断将原二次规划问题分解为只有两个变量的二次规划子问题，并对子问题进行解析求解，直到所有变量都满足KKT条件。这是一种启发式的学习算法。
具体算法步骤为：
1、取初值${\alpha }^{(0)}=0$，令$k=0$；
2、选取优化变量${\alpha }_1^{(k)},{\alpha }_2^{(k)}$，解析求解两个变量的最优化问题（该步骤需要参考书中相关内容，由于并未深入研究所以在此不做过多阐述），求得最优解${\alpha }_1^{(k+1)},{\alpha }_2^{(k+1)}$，更新$\alpha$为${\alpha }^{(k+1)}$
3、若在精度$ϵ$范围内，满足停止条件 ∑ i = 1 N α i y i = 0 , 0 ≤ α i ≤ C , i = 1 , 2 , . . . , N y i ⋅ g ( x i ) = { ≥ 1 , { x i ∣ α i = 0 } = 1 , { x i ∣ 0 < α i < C } ≤ 1 , { x i ∣ α i = C } \sum_{i=1}^N\alpha_iy_i=0,\quad 0\le\alpha_i\le C,\quad i=1,2,...,N\\ y_i\cdot g(x_i)=\begin{cases} \ge1,\quad\{x_i|\alpha_i=0\} \\ =1,\quad \{x_i|0<\alpha_i<C\} \\ \le1,\quad \{x_i|\alpha_i=C\} \end{cases} i=1∑N​αi​yi​=0,0≤αi​≤C,i=1,2,...,Nyi​⋅g(xi​)=⎩⎪⎨⎪⎧​≥1,{xi​∣αi​=0}=1,{xi​∣0<αi​<C}≤1,{xi​∣αi​=C}​其中$$g(x_i)=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_j,x_i)+b$$则转（4），否则令$k=k+1$，转（2）；
4、取$\hat{\alpha }={\alpha }^{(k+1)}$。

结束

以上便是回顾所写的笔记，如有错误欢迎指正！！！！