个人学习笔记（八）线性支持向量机与软间隔最大化

       在上一篇文章中介绍了线性可分支持向量机，但如果训练数据不是严格线性可分的，线性可分支持向量机便不适用了，需要修改硬间隔最大化，使其成为软间隔最大化。

1、线性支持向量机

       给定一个特征空间上的训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}       其中 x i ∈ R n , y i ∈ { + 1 , − 1 } x_i\in R^n,y_i\in\{+1,-1\} xi​∈Rn,yi​∈{+1,−1}。通常情况时训练数据中有一些特异点(outlier)，将其除去后剩下大部分的样本点组成的集合是线性可分的。
       针对这个问题，可以对每个样本$(x_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$，修改硬间隔最大化的约束条件，使函数间隔加上松弛变量大于等于1，即
$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$       同时对每个松弛变量${\xi }_i$支付一个代价，即目标函数变为
$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$       这有两层含义，一是使间隔尽量大，二是使误分类点的个数尽可能小，$C$是调和二者的系数。
       线性支持向量机变成如下凸二次规划(convex quadratic programming)问题
$$\underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$$$s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N$$$${\xi }_i\ge 0,i=1,2,\cdots ,N$$       可以证明，$w$的解是唯一的，但$b$的解可能不唯一，而是存在于一个区间。

2、学习的对偶算法

       列出原始最优化问题的拉格朗日函数
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i[y_i(w\cdot x_i+b)-1+{\xi }_i]-\sum _{i=1}^N{\mu }_i{\xi }_i$$       原始问题的对偶问题为
$$\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$$       首先求内部极小化问题，分别对$w,b,\xi$求偏导
$${▽}_{w}L(w,b,\xi ,\alpha ,\mu )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$$${▽}_{b}L(w,b,\xi ,\alpha ,\mu )=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$$${▽}_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0$$       得
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$C={\alpha }_i+{\mu }_i$$       代入对偶问题内部极小化式子中，可得
$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$       再对${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$求$\alpha ,\mu$的极大
$$\underset{\alpha ,\mu }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$C-{\alpha }_i-{\mu }_i=0$$$${\alpha }_i\ge 0$$$${\mu }_i\ge 0,i=1,2,\cdots ,N$$       由于目标函数中没有$\mu$，可以在约束条件中消去${\mu }_i$，将约束条件后面的三式写成
$$0\le {\alpha }_i\le C$$       求解上面的最优化问题，得到解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast })$，接着考虑如何由${\alpha }^{\ast }$计算分离超平面参数$w^{\ast },b^{\ast }$。
       由于原始问题是凸二次规划问题，其解满足KKT条件，即
$${▽}_{w}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=w^{\ast }-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i=0$$$${▽}_{b}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0$$$${▽}_{{\xi }_i}L(w^{\ast },b^{\ast },{\xi }^{\ast },{\alpha }^{\ast },{\mu }^{\ast })=C-{\alpha }_i^{\ast }-{\mu }_i^{\ast }=0$$$${\alpha }_i^{\ast }[y_i(w^{\ast }\cdot x_i+b)-1+{\xi }_i^{\ast }]=0$$$${\mu }_i^{\ast }{\xi }_i^{\ast }=0$$$$y_i(w^{\ast }\cdot x_i+b^{\ast })-1+{\xi }_i\ge 0$$$${\xi }_i^{\ast }\ge 0$$$${\alpha }_i^{\ast }\ge 0$$$${\mu }_i^{\ast }\ge 0,i=1,2,\cdots ,N$$       由上面的第一个KKT条件可以推出$w^{\ast }$的计算公式
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$       接着求取$b^{\ast }$的公式。
       考虑若有$0<{\alpha }_j<C$，根据第三个KKT条件可推出${\mu }_j^{\ast }>0$；根据第四个KKT条件可推出$y_j(w^{\ast }\cdot x_j+b^{\ast })-1+{\xi }_j^{\ast }=0$。
       由于${\mu }_j^{\ast }>0$，根据第五个KKT条件可进一步推出${\xi }_j^{\ast }=0$，因此有
$$y_j(w^{\ast }\cdot x_j+b^{\ast })-1=0$$       带入$w^{\ast }$的表达式，可得
$$b^{\ast }=y_j-\sum _{i=1}^N{y}_i{\alpha }_i^{\ast }(x_i\cdot x_j)$$

3、支持向量

       与线性可分支持向量机相同，将对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的实例$x_i$称为支持向量。支持向量$x_i$到间隔边界的距离是$\frac{{\xi }_i}{||w||}$，即${\xi }_i$越大，离间隔边界越远。
       若$0<{\alpha }_i^{\ast }<C$，则有${\xi }^{\ast }=0$，即支持向量$x_i$恰好落在间隔边界上；若${\alpha }_i^{\ast }=C$且$0<{\xi }_i^{\ast }<1$，则$x_i$分类正确，但在间隔边界与分离超平面之间；若${\alpha }_i^{\ast }=C$且${\xi }_i^{\ast }=1$，则$x_i$在分离超平面上；若${\alpha }_i^{\ast }=C$且${\xi }_i^{\ast }>1$，则$x_i$在分离超平面的误分一侧。

4、合页损失函数

       线性支持向量机还有另外一种解释，就是最小化以下目标函数
$$\underset{w,b}{\min }\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$       其中目标函数的第一项是经验风险，函数$L(y(w\cdot x+b))=[1-y(w\cdot x+b){]}_{+}$称为合页损失函数(hinge loss function)；目标函数的第二项是$w$的$L_2$范数，是正则化项。
       为什么说带正则化项的合页损失函数是线性支持向量机的另一种解释？可以令
$$[1-y_i(w\cdot x_i+b){]}_{+}={\xi }_i$$       则${\xi }_i$满足以下两个约束
$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N$$$${\xi }_i\ge 0,i=1,2,\cdots ,N$$       这正是线性支持向量机原始问题的两个约束条件，再看看目标函数，若取$\lambda =\frac{1}{2C}$，则带正则化项的合页损失函数可写成
$$\underset{w,b}{\min }\frac{1}{C}(\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i)$$       可以发现，括号里的部分正是线性支持向量机原始问题的目标函数。
       与感知机相比，线性支持向量机对学习有更高的要求。感知机的损失函数是$[-y_i(w\cdot x_i+b){]}_{+}$，当样本点$(x_i,y_i)$被正确分类时，损失是0；相比之下线性支持向量机的合页损失函数$[1-y_i(w\cdot x_i+b){]}_{+}$不仅要分类正确，而且确信度足够高时损失才是0.