支持向量机

“种一棵树最好的时间是十年前，其次是现在”

1 间隔

在logistic regression中已经看到，$h_{\theta }(x)=g_{\theta }(x)=p(y=1|x)$，如果$p(y=1|x)>0.5$，则判断样本为正样本。由sigmoid函数的形状可知，只有在${\theta }^{T}x>0$时，才有$p(y=1|x)>0.5$，且${\theta }^{T}x$的值越大，$p(y=1|x)$的值才越大，也就表示我们对当前样本属于类别1的确信度越大。反之，${\theta }^{T}x$的值越小，则表示当前样本属于类别0的确信度越大。

如上图所示，假设圆点表示负样本，方点表示正样本。在上述A、B、C三个正样本中，C最远离分类直线，分类结果的置信度最高，B次之，A最小。

我们在构建一个分类器时，除了希望对所有的样本能够尽可能正确的分类之外，我们还希望对每一个样本分类结果的置信度尽可能的高。

在下面的介绍中，以“+1”来表示正类的label，以“-1”来表示负类的label。

1.1 函数间隔

基于上一节的描述，我们希望对于正类样本$y^{(i)}=1$，${\theta }^T{x}^{(i)}+b>>0$且越大越好；而对于负类样本$y^{(i)}=-1$，${\theta }^T{x}^{(i)}+b<<0$且越小越好。

定义单个样本$(x^{(i)},y^{(i)})$在参数$w$和$b$下的函数间隔为：
$${\hat{r}}^{(i)}=y^{(i)}({\theta }^T{x}^{(i)}+b)$$
根据上面的介绍，我们知道函数间隔一定为正，且值越大越好。

定义整个样本集 D = { ( x ( i ) , y ( i ) ) , i = 1 , ⋯ &ThinSpace; , m } D = \{(x^{(i)},y^{(i)}),i=1,\cdots,m\} D={(x(i),y(i)),i=1,⋯,m}的函数间隔为：
$$\hat{r}=min{\hat{r}}^{(i)},i=1,\cdots ,m$$

函数间隔存在一个问题，就是假如对参数 $w,b$ 扩充两倍变为 $2w,2b$ 之后，单个样本的函数间隔将会变成原来的两倍，但是参数扩充前后表示的是同一条直线，那么对同一条直线简单的玩了下文字游戏，函数间隔就变成了原来的两倍，表示我现在对分类结果的确信程度就变成了原来的两倍，这样的性质显然是不合理的。

为了解决函数间隔存在的问题，我们引出了几何间隔。

1.2 几何间隔

定义单个样本$(x^{(i)},y^{(i)})$在参数$w$和$b$下的几何间隔为：
$$r^{(i)}=y^{(i)}(\frac{w^T{x}^{(i)}+b}{||w||})$$

几何间隔的求解过程为：

如上图所示，分类超平面为$w^{T}x+b=0$，单位方向向量为$\frac{w}{||w||}$,假设A在分类超平面上的投影点为B，A点坐标为$x^{(i)}$且|AB| = r，则B点的坐标为$x^{(i)}-\frac{w}{||w||}{r}^{(i)}$，由于B位于分类超平面上，则代入直线方程有$w^T(x^{(i)}-\frac{w}{||w||}{r}^{(i)})+b=0$，推得$r^{(i)}=\frac{w^T{x}^{(i)}+b}{||w||}$。

对于几何间隔，将$w,b$变成$2w,2b$时，几何间隔的值保持不变，克服了函数间隔的缺陷。

几何间隔与向量的范数大小无关，也就是说，几何间隔对于参数具有缩放不变性，所以在最优化求解w和b的过程中，可以对w和b添加任意的限制条件，均不会改变几何间隔值的大小。

定义整个样本集 D = { ( x ( i ) , y ( i ) ) , i = 1 , ⋯ &ThinSpace; , m } D = \{(x^{(i)},y^{(i)}),i=1,\cdots,m\} D={(x(i),y(i)),i=1,⋯,m}的几何间隔为：
$$r=min{r}^{(i)},i=1,\cdots ,m$$

函数间隔和几何间隔之间的关系为：
当$||w||=1$时，函数间隔等于几何间隔。

1.3 最优间隔分类器

从上面的讨论中可以得知，给定一个训练集，我们的目的是希望找到一个分类超平面以最大化几何间隔，这样对于训练集中的每一个训练样本，我们都对分类结果具有较高的置信度。

当一个数据集具有较大的几何间隔时，说明该数据集中的正类样本和负类样本之间存在较大的间隔。

假设一个数据集是线性可分的，则最优间隔分类器可以表示为：
$$\begin{gathered} ma{x}_{r,w,b}r \\ s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge r,i=1,\cdots ,m \\ ||w||=1 \end{gathered}$$

由于上式中，||w|| = 1为非凸函数，因此无法直接使用现有的最优化方法求解，因此变换形式为：
$$\begin{gathered} ma{x}_{r,w,b}\frac{\hat{r}}{||w||} \\ s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge \hat{r},i=1,\cdots ,m \end{gathered}$$

由于调整w,b不改变分类平面，因此调整w，b使得函数间隔为1，此时的最优间隔分类器为：
$$\begin{gathered} ma{x}_{r,w,b}\frac{1}{||w||} \\ s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 1,i=1,\cdots ,m \end{gathered}$$

再次变换形式为：
$$\begin{gathered} mi{n}_{r,w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 1,i=1,\cdots ,m \end{gathered}$$
此时最优化的式子为具有线性约束的二项式最优化问题，可以利用现成的二项式优化工具求解最优的$w^{\ast }$和$b^{\ast }$。

上述最优化间隔中设置了函数间隔为1，因此在此最优化间隔分类器的情况下，两类样本之间的最小间隔为$\frac{2}{||w||}$。

至此，貌似我们已经求得了最大间隔分类器，但是我们不会至此结束，而是会去讨论拉格朗日对偶，因为拉格朗日对偶会引出核函数的概念，而核函数在高维样本的分类中会发挥重大的作用。同时，对偶问题也会给出比使用QP代码进行原始问题求解更加高效的求解算法。

2 拉格朗日对偶

对于下述有限制条件的最优化问题：
$$\begin{gathered} mi{n}_{w}f(w) \\ s.t.h_i(w)=0,i=1,\cdots ,l \end{gathered}$$
该问题可以用拉格朗日乘子法进行求解。

定义拉格朗日形式为：$L(w,b)=f(w)+{\sum }_{i=1}^l{h}_i(w)$，${\beta }_i$称之为拉格朗日乘子。令$\frac{\partial L}{\partial w_i}=0$和$\frac{\partial L}{\partial {\beta }_i}=0$可得$w$和$\beta$。

下面对待优化函数添加不等式限制，定义原始最优化问题为：
$$\begin{gathered} mi{n}_{w}f(w) \\ s.t.g_i(w)\le 0,i=1,\cdots ,k \\ {h}_i(w)=0,i=1,\dots ,l \end{gathered}$$
其拉格朗日乘子法展开得：
$$L(w,\alpha ,\beta )=f(w)+\sum _{i=1}^k{\alpha }_i{g}_i(w)+\sum _{i=1}^l{\beta }_i{h}_i(w)$$
其中，${\alpha }_i$和${\beta }_i$为拉格朗日乘子。

2.1 原始问题

定义${\theta }_p(w)=ma{x}_{\alpha ,\beta :{\alpha }_i>0}L(w,\alpha ,\beta )$，P表示“primal”.

注意对w的限制条件为$g_i(w)\le 0$和$h_i(w)=0$。对于不满足限制条件的w，如$g_i(w)\ge 0$和$h_i(w)̸=0$，那么${\theta }_p(w)=ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}L(w,\alpha ,\beta )=ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}f(w)+{\sum }_{i=1}^k{\alpha }_i{g}_i(w)+{\sum }_{i=1}^l{\beta }_i{h}_i(w)$，此时，${\theta }_p(w)$的取值可以为$+\infty$。而对于满足限制条件$g_i(w)\le 0$和$h_i(w)=0$的w而言，其使得${\theta }_p(w)=ma{x}_{\alpha ,\beta :{\alpha }_i>0}L(w,\alpha ,\beta )=f(w)$。因此，有：
$${\theta }_p(w)=\{\begin{array}{l}f(w)w满足限制条件\\ +\infty w不满足限制条件\end{array}$$
因此，$mi{n}_w{\theta }_p(w)=mi{n}_{w}ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}L(w,\alpha ,\beta )$就等价于：
$$\begin{gathered} mi{n}_{w}f(w) \\ s.t.g_i(w)\le 0,i=1,\cdots ,k \\ {h}_i(w)=0,i=1,\dots ,l \end{gathered}$$
定义该问题的解为$p^{\ast }=mi{n}_w{\theta }_p(w)$。

2.2 对偶问题

我们再定义${\theta }_D(\alpha ,\beta )=mi{n}_{w}L(w,\alpha ,\beta )$，“D”表示对偶。注意原始问题是关于$\alpha$和$\beta$的最优化问题，对偶问题是关于$w$的最优化问题。

$ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}{\theta }_D(\alpha ,\beta )=ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}mi{n}_{w}L(w,\alpha ,\beta )$，对偶问题的解为$d^{\ast }=ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}{\theta }_D(\alpha ,\beta )$。

2.3 原始问题与对偶问题的关系及KKT条件

原始问题与对偶问题的关系为：
$d^{\ast }=ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}mi{n}_{w}L(w,\alpha ,\beta )\le mi{n}_{w}ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}L(w,\alpha ,\beta )=p^{\ast }$。这是因为对于一个函数而言，min max 往往大于 max min，即后进行的操作起到更大的作用。

在某些条件下，$d^{\ast }=p^{\ast }$，那么就可以使用对对偶问题的求解来代替对原始问题的求解，这些条件就是KKT条件。

假设函数$g_i$和$f$都是凸函数，$h_i$为仿射函数，任意的$g_i(w)\le 0$。在这些假设条件下，必定存在$w^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$，使得$w^{\ast }$是原始问题的解，同时有${\alpha }^{\ast },{\beta }^{\ast }$为对偶问题的解，此时$d^{\ast }=p^{\ast }=L(w^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$，此时，$w^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足KKT条件：

基于上图中的式子5,6,7可知，当${\alpha }_i^{\ast }>0$时，必有$g_i(w^{\ast })=0$。

3 基于对偶的最优间隔分类器求解

再学习了拉格朗日对偶之后，我们再来看下最优间隔分类器：
$$\begin{gathered} mi{n}_{r,w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 1,i=1,\cdots ,m \end{gathered}$$
变换形式为：
$$\begin{gathered} mi{n}_{r,w,b}\frac{1}{2}||w|{|}^2 \\ s.t.1-y^{(i)}(w^T{x}^{(i)}+b)\le 0,i=1,\cdots ,m \end{gathered}$$

根据KKT条件中只有在$g_i(w)=0$时，才有${\alpha }_i>0$得到只有在$y^{(i)}(w^T{x}^{(i)}+b)=1$时，才有${\alpha }_i>0$。
由于在前面最优间隔分类器的推导过程中已经假定了数据集的函数间隔为1，即数据集中各样本的函数间隔都大于等于1，而结合上一段的结论可以得到只有在函数间隔为1的样本点处才有${\alpha }_i>0$。函数间隔为1的样本点称之为支持向量，支持向量的个数远远小于数据集的样本数，这是一个很关键的性质，将在后面的过程中用到。

最优间隔分类器：
$$\begin{gathered} mi{n}_{r,w,b}\frac{1}{2}||w|{|}^2 \\ s.t.1-y^{(i)}(w^T{x}^{(i)}+b)\le 0,i=1,\cdots ,m \end{gathered}$$
的拉格朗日式子为：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^m{\alpha }_i(y_i(w^T{x}^{(i)}+b)-1)$$
为了求出问题的对偶形式，需要先求在固定$\alpha$的情况下求$L(w,\alpha ,\beta )$关于w和b的最小值，令：
$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}=0，可得w=\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}$$
$$\frac{\partial L}{\partial b}=\sum _{i=1}^m{\alpha }_i{y}^{(i)}=0$$.
将$w={\sum }_{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}$代入$L(w,b,\alpha )$中，可得：
$$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^m{\alpha }_i(y_i(w^T{x}^{(i)}+b)-1) \\ =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}<x^{(i)},x^{(j)}> \end{gathered}$$
此时，$L(w,b,\alpha )$已经满足了在固定$\alpha$的情况下关于$w,b$的最小值。此时，对偶形式的最优化间隔分类器为：
$$ma{x}_{\alpha }w(\alpha )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}^{(i)}{y}^{(j)}<x^{(i)},x^{(j)}>$$
$$\begin{gathered} s.t.{\alpha }_i\ge 0 \\ \sum _{i=1}^m{\alpha }_i{g}_i(w)=0 \end{gathered}$$
上述s.t.中的条件来自于KKT条件，因为只有在满足KKT条件的情况下，才有$p^{\ast }=d^{\ast }$，此时$w^{\ast }$和$b^{\ast }$才是原始问题的解。所以，我们对上述对偶问题求解，也就得到了原始问题的解。

对偶问题的求解需要求解各${\alpha }_i$，需要使用SMO算法，这部分内容我们稍后再学习。

再使用SMO算法求得对偶问题的解后，可以根据$w={\sum }_{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}$得到原始问题的w的解，同时原始问题的$b=-\frac{ma{x}_{i:y^{(i)=-1}}{w}^{\ast T}{x}^{(i)}+mi{n}_{i:y^{(i)=+1}}{w}^{\ast T}{x}^{(i)}}{2}$。b的推导是因为$w^T{x}^{(i)}+b=0$，因此$b=-w^T{x}^{(i)}$，但因为分类超平面位于函数间隔最小的正类样本与函数间隔最大的负类样本的正中间，因此可得b为两者的均值。

在求得w和b之后，在对一个新的样本进行分类预测时，如果$w^{T}x+b>0$则预测为正类，否则为负类。
$$w^{T}x+b=(\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}{)}^{T}x+b=\sum _{i=1}^m{\alpha }_i{y}^{(i)}<x^{(i)},x>+b$$
根据KKT条件，只有支持向量的系数${\alpha }_i$才大于0，因此在对新样本进行分类时，只有支持向量才对新样本的预测起作用，只需计算支持向量与待分类样本的内积即可，而支持向量的个数远远小于训练样本的个数，因此整个的求解过程会非常高效。

4 核函数

假如样本点的分布并不是线性可分的，此时我们就不能使用原始的样本特征进行分类，而是应该使用进行映射之后的特征进行分类，假设映射函数为$\varphi (x)$，那么就应该使用$<\varphi (x^{(i)}),x>$来代替原始对新样本进行分类时的$<x^{(i)},x>$。

使用映射后的特征而不是原始特征进行模型估计，一方面可以进行更好的拟合，另一方面是在很多线性不可分的样例映射到高维空间后可能就会变得线性可分了。

在给定特征映射为$\varphi$的情况下，定义对应的核函数为$K(x,z)={\varphi }^T(x)\varphi (z)$。

那么在对新样本进行映射到高维特征进行分类时，只需计算$\varphi (x^{(i)})$和$\varphi (x)$即可。但是可能会存在一个问题，就是计算$\varphi (x^{(i)})$的计算量会比较大。比如，原始特征$x^{(i)}$是n维的，若将其映射到$n^2$维，然后再计算内积，那么计算内积时的计算复杂度为$o(n^2)$，有没有什么办法可以减少计算量呢？

答案也就在函数$K(x,z)$上，我们不再是分别计算$\varphi (x)$和$\varphi (z)$，而是直接计算$K(x,z)$。

假设$x,z\in R^n$ ，$K(x,z)=(x^{T}z{)}^2=({\sum }_{i=1}^n{x}_i{z}_i)({\sum }_{j=1}^n{x}_j{z}_j)={\sum }_{i,j=1}^n{x}_i{x}_j{z}_i{z}_j={\sum }_{i=1}^n(x_i{x}_j)(z_i{z}_j)=\varphi (x{)}^T\varphi (z)$，
若x为三维向量，如果直接计算$K(x,z)=(x_1{z}_1+x_2{z}_2+x_3{z}_3{)}^2$，计算复杂度为$o(n)$。但是如果我们分别计算$\varphi (x),\varphi (z)$的话，有
$$\varphi (x)=\left[\begin{array}{c}{x}_1{x}_1\\ x_1{x}_2\\ x_1{x}_3\\ x_2{x}_1\\ x_2{x}_2\\ x_2{x}_3\\ x_3{x}_1\\ x_3{x}_2\\ x_3{x}_3\end{array}\right]$$，此时计算$\varphi (x{)}^T\varphi (z)$的话计算复杂度为$o(n^2)$。
一般情况下，$K(x,z)=(x^{T}z+c{)}^d$对应的$\varphi (x)$的计算复杂度为$o(n^d)$，而直接计算$K(x,z)$的复杂度仅为$o(n)$，所以直接计算$K(x,z)$的复杂度远远小于$\varphi (x{)}^T\varphi (z)$。
另一个视角来看核函数，由于$K(x,z)=\varphi (x{)}^T\varphi (z)$，计算的是$\varphi (x)$和$\varphi (z)$的内积，因此若$\varphi (x)$和$\varphi (z)$方向越相近，$K(x,z)$的值越大。而当$\varphi (x)$和$\varphi (z)$相互正交时，$K(x,z)$的值为0。因此，核函数可以认为是衡量$\varphi (x)$和$\varphi (z)$的相近程度，或者说是衡量x和z的相近程度。

核函数的有效性判断：
我们该如何判断一个函数是否为有效的核函数呢？比如下面的函数：
$$K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})$$
x和z相互接近时，$K(x,z)$接近1，而x和z差距越大，$K(x,z)$越接近0。实际上这个函数为高斯核，其对应的$\varphi (x)$接近于无穷维，那么该如何验证该核函数是可用的核函数呢？
判断规则为：对一个可用的核函数k，假设其对应的特征映射为$\varphi$，考虑由m个样本组成的样本集 { x ( 1 ) , ⋯ &ThinSpace; , x ( m ) } \{x^{(1),\cdots,x^{(m)}}\} {x(1),⋯,x(m)}，定义一个m*m的方阵$K\in R^{m\times m}$，且$K_{ij}=K(x^{(i)},x^{(j)})$，矩阵K称之为核矩阵。如果函数K为可用的核函数，那么对应的核矩阵$K_{i,j}=K(x^{(i)},x^{(j)})=\varphi (x^{(i)}{)}^T\varphi (x^{(j)})=\varphi (x^{(j)}{)}^T\varphi (x^{(i)})=K_{ji}$，即核函数矩阵K一定为对称矩阵。
另外，令${\varphi }_k(x)$表示$\varphi (x)$的第k个元素，那么对于任意向量z有：
$$\begin{gathered} z^{T}Kz=\sum _i\sum _j{z}_i{K}_{ij}{z}_j=\sum _i\sum _j{z}_i\varphi (x^{(i)}{)}^T\varphi (x^{(j)})z_j \\ =\sum _i\sum _j{z}_i\sum _k{\varphi }_k(x^{(i)}{)}^T{\varphi }_k(x^{(j)})z_j=\sum _i\sum _j\sum _k{z}_i{\varphi }_k(x^{(i)}{)}^T{\varphi }_k(x^{(j)})z_j \\ =\sum _k(\sum _i{z}_i{\varphi }_k(x^{(i)}){)}^2\ge 0 \end{gathered}$$
因此，核矩阵K一定为半正定矩阵。

综合上面的结论，我们可知：
K(x,z)为有效的核函数 $\iff$ 核矩阵为对称半正定矩阵。

因此，在判断一个函数是否为可用的核函数时，不需要尝试将该函数分解为两个函数内积的形式，只需要判断核矩阵K是否为对称半正定矩阵即可。其中，核矩阵中的元素$K_{ij}=K(x^{(i)},x^{(j)})$。

核函数的应用：
核函数的应用甚至比svm的应用范围还有广泛，只要是出现向量内积的地方，都可以使用核函数代替，可以高效的进行高维特征空间中向量的内积运算。尤其是对于在低维空间不可分的数据集，使用核函数映射到高维空间后就有可能变得线性可分了。

高斯核函数$K(x,z)=exp(-\frac{||x-z|{|}^2}{2{\sigma }^2})$是一个常用的核函数，也叫作径向基函数(Radial Basis Function,RBF)。

使用核函数后，SVM对新样本进行分类就由：
$$w^{T}x+b=\sum _{i=1}^m{\alpha }_i{y}^{(i)}<x^{(i)},x>+b$$
变成了：
$$\sum _{i=1}^m{\alpha }_i{y}^{(i)}K(x^{(i)},x)+b$$
同样$x^{(i)}$只考虑数据集中的支持向量即可。

5 软间隔SVM

到目前为止我们只考虑了数据集线性可分的情况，即便原始数据集在低维空间中线性不可分，将其映射到高维空间后也变得线性可分了。但是的确应用中不能确保数据集一定是线性可分的，此时又该怎么办呢？

如上图所示的情况，原始数据集及其分类超平面如图左所示，具有较大的类别间隔。但是若添加一个离群点，虽然仍线性可分，但分类间隔大大减小。若添加的离群点位于对方的类别内，就变成了线性不可分的情况。

为了使SVM对线性不可分的情况同样有效，或者说减小SVM对离群点的敏感程度，我们放宽限制条件，允许某些样本不满足函数间隔大于等于1的约束。当然，在最大化间隔的同时，不满足约束的样本应尽可能少，于是优化目标变化为：
$$mi{n}_{w,b}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{l}_{0/1}(y^{(i)}(w^T{x}^{(i)}+b)-1)$$
其中，C>0是一个常数，$l_{0/1}$为“0/1损失函数”:
$$l_{0/1}=\{\begin{array}{l}1,ifz<0\\ 0,otherwise\end{array}$$
显然，当C为无穷大时，优化目标迫使所有样本满足函数间隔大于等于1的限制条件。而当C为有限值时，优化目标允许一些样本不满足函数间隔大于等于1的限制条件。

然而，$l_{0/1}$非凸、非连续，数学性质不太好，使得优化函数难以直接求解。于是，通常使用一些函数来代替$l_{0/1}$，称为替代损失。替代损失函数往往是凸的连续函数且是$l_{0/1}$的上界。三种常用的替代损失函数为：
hinge损失：$l_{hinge}(z)=max(0,1-z)$
指数损失：$l_{exp}(z)=exp(-z)$
对率损失：$l_{log}(z)=log(1+exp(-z))$

若采用hinge损失，则上面的软间隔svm最优化目标就变为了：
$$mi{n}_{w,b}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^{m}max(0,1-y^{(i)}(w^T{x}^{(i)}+b))$$
引入松弛变量${\xi }_i\ge 0$，可将上式重写为：
$$\begin{gathered} mi{n}_{w,b,{\xi }_i}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i \\ s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0,i=1,2,\cdots ,m \end{gathered}$$
这就是软间隔SVM。

软间隔SVM中引入了松弛变量，如果某个样本的间隔为$1-{\xi }_i$（由于${\xi }_i\ge 0$，所以该样本的函数间隔小于1，即为离群点），那么就对要最小化的目标函数加一项$C{\xi }_i$，离群点偏离程度越大，惩罚越大。同样，离群点越多，惩罚越大，而我们最终的目标是最小化该惩罚。最终，我们的目标函数控制了离群点的数目和程度，使得大部分样本点仍遵守函数间隔大于等于1的约束。

软间隔SVM的意义在于，训练过程中会关注大部分的样本点，不会过于关注噪声点，以训练出具有较大间隔的分类器。对于个别离群点，允许其位于间隔内（函数间隔小于1），甚至允许其函数间隔小于0（此时样本被误分类）。这样做，增强了SVM模型的泛化能力，降低了过拟合的风险。同时，损失函数中添加了对离群点的惩罚，还是希望离群点越少越好、离群程度越小越好。

软间隔SVM的参数求解过程同样是使用拉格朗日乘子法得到拉格朗日函数：

将求得的w和C的解代入拉格朗日函数中可得原始最优化问题的对偶问题为：

此时，KKT条件变化为：
$$\{\begin{array}{l}{\alpha }_i=0,y^{(i)}(w^T{x}^{(i)}+b)\ge 1\\ {\alpha }_i=C,y^{(i)}(w^T{x}^{(i)}+b)\le 1\\ 0<{\alpha }_i<C,y^{(i)}(w^T{x}^{(i)}+b)=1\end{array}$$
即在两条间隔线外的样本点前面的系数为0，离群点前面的系数为C，而支持向量前面的系数为$(0,C)$。

使用软间隔SVM在对一个新的样本进行分类预测时，如果$w^{T}x+b>0$则预测为正类，否则为负类。
$$w^{T}x+b=(\sum _{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}{)}^{T}x+b=\sum _{i=1}^m{\alpha }_i{y}^{(i)}<x^{(i)},x>+b$$
根据KKT条件，只有支持向量的系数${\alpha }_i$才大于0，因此在对新样本进行分类时，只有支持向量才对新样本的预测起作用。如果使用了核函数，则同样使用$K(x,z)$代替$<x^{(i)},x>$即可。

到目前为止，无论对于硬间隔还是软间隔SVM，分类都是找到支持向量，计算出系数${\alpha }_i$，计算$w^{T}x+b$进行新样本的预测。遗留的问题就是如何计算出系数${\alpha }_i$了，接下来的SMO算法可以解决该问题。

6 SMO

SMO(Sequential minimial optimization)，序列最小优化算法，可以用来求解系数${\alpha }_i$。

在学习SMO之前，先来学习下坐标上升法。

6.1 坐标上升法

考虑一个无限制的最优化问题：
$ma{x}_{\alpha }w({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m)$
坐标上升法的迭代过程为：
Loop Until Convergence:{
For i=1,2,…,m{
${\alpha }_i=argma{x}_{{\hat{\alpha }}_i}w({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_{i-1},{\hat{\alpha }}_i,{\alpha }_{i+1},\cdots ,{\alpha }_m)$
}
}
也就是说，在内部的迭代过程中，固定除一个参数之外的其他参数，函数的自变量只有单个参数，最大化函数值，即求解函数关于该单个参数的偏导数，令其为0，得到该参数的值。依次迭代，求得所有参数。

坐标上升法的优化路径是沿着坐标轴前进的，因为每一步只优化一个变量。

6.2 SMO

我们再来看下软间隔SVM中对偶形式的最优化问题：

要解决的是在参数 { α 1 , α 2 , ⋯ &ThinSpace; , α m } \{\alpha_1,\alpha_2,\cdots,\alpha_m\} {α1​,α2​,⋯,αm​}中求解关于$w(\alpha )$的最大值。其余的$x^{(i)},y^{(i)},C$都是已知量，我们可以按照坐标上升法，固定除${\alpha }_i$之外的其他参数，求解函数对${\alpha }_i$的导数，令其为0，得到${\alpha }_i$的解。但是这里有一个问题，因为${\sum }_{i=1}^m{\alpha }_i{y}^{(i)}=0$，假设我们固定了除${\alpha }_i$之外的其他参数值，那么此时${\alpha }_i$也已经是一个确定值了，不必在求解了。

所以SMO中是每次选取两个参数进行求解，固定除这两个参数之外的其他参数，比如我们选取${\alpha }_1,{\alpha }_2$进行求解，那么${\alpha }_2$可由${\alpha }_1$表示出来，整个函数也是只关于${\alpha }_1$的函数，求偏导数，令其为0，可得${\alpha }_1$的最优解。

SMO的过程可以描述为：
重复直至收敛{
1.采用启发式方式选取一对参数${\alpha }_i$和${\alpha }_j$；
2.固定除${\alpha }_i$和${\alpha }_j$之外的所有参数，对$w(\alpha )$进行最优化求解，得到${\alpha }_i$和${\alpha }_j$的解。
}

SMO之所以高效的原因是在固定其他参数后，对单个参数的最优化过程非常高效。

7 SVR

SVR，support vector regression，来解决回归问题。

传统回归模型在预测值与实际值完全相同时，损失值才会为0。而SVR略有不同，SVR可以容忍预测值与实际值之间做多有$ϵ$的偏差，仅当预测值与实际值之间的偏差大于$ϵ$时才计算损失，也就是如下图所示的构建了一个宽度为$2ϵ$的间隔带，若训练样本落入此间隔带则被认为是被正确预测的。

SVR问题可形式化表示为：
$$mi{n}_{w,b}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{l}_{ϵ}(f(x_i)-y_i)$$
其中，C为正则化常数，$l_{ϵ}$为$ϵ$-不敏感损失函数：
$$l_{ϵ}(z)=\{\begin{array}{l}0,if|z|\le ϵ\\ |z|-ϵ,otherwise\end{array}$$

间隔带两侧的松弛程度可能有所不同，因此引入两个松弛因子${\xi }_i$和${\hat{\xi }}_i$，将最优化函数写为：
$$\begin{gathered} mi{n}_{w,b,{\xi }_i,{\hat{\xi }}_i}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m({\xi }_i+{\hat{\xi }}_i) \\ s.t.f(x_i)-y_i\le ϵ+{\xi }_i \\ {y}_i-f(x_i)\le ϵ+{\hat{\xi }}_i \\ {\xi }_i\ge 0,{\hat{\xi }}_i\ge 0,i=1,2,\cdots ,m \end{gathered}$$

在对新样本进行预测时，计算的$w^{T}x+b={\sum }_{i=1}^m({\hat{\alpha }}_i-{\alpha }_i)x_i^{T}x+b$。落在间隔带之间的样本点的系数${\alpha }_i=0,{\hat{\alpha }}_i=0$，而支持向量是使$(\widehat{{\alpha }_i}-{\alpha }_i)̸=0$的样本点，他们落在间隔带之外。支持向量的个数仍远小于训练样本数目，计算过程仍然比较高效。

SVR中对新样本进行预测时仍然出现了内积的形式，将内积转换为核函数$K(x,z)$即可以进行映射到高维空间进行回归计算。

8 实现

libsvm && sklearn

9 参考

CS229
周志华《机器学习》

才疏学浅，若有错误，欢迎批评指正！