支持向量机

支持向量机

作者：$little-xu$

时间：$2021/1/20$

间隔与支持向量

最大间隔超平面

我们有样本训练集 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x i , y i ) } , y i ∈ { − 1 , + 1 } \{(x_1,y_1),(x_2,y_2),\cdots,(x_i,y_i)\},y_i \in \{-1,+1\} {(x1​,y1​),(x2​,y2​),⋯,(xi​,yi​)},yi​∈{−1,+1}，不妨我们用正例描述$+1$，负例来描述$-1$,在高维度我们寻找一个平面将将正例和负例划分开来

从二维扩展到多维空间中时，将 $D_1$和 $D_2$完全正确地划分开的$wx+b=0$就成了一个超平面。

那怎么去确定这样的鲁棒性平面呢?

正例有边界线，负例也有边界，将最外围的点连线，就变成一个凸集。也就是他的边界线，与我们超平面相切的

• 两类样本分别分割在该超平面的两侧

• 超平面到正例和反例的边界线距离之和最大

此处细品超平面到边界线距离：训练集$T$中正例(负例)到超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的几何间隔最小值

几何间隔

$$\begin{array}{r}{\gamma }_i=y_i(\frac{w{x}_i+b}{\Vert w\Vert })\end{array}$$

疑惑：此处$y_i$是来捣蛋的？

解疑：

$$\begin{array}{r}\{\begin{array}{l}{w}^T{x}_i+b\ge +1(正例边界)，y_i=+1\\ w^T{x}_i+b\le -1(负例边界)，y_i=-1\end{array}\end{array}$$

这个又是是什么嘞？

$wx+b=1$是我们正例边界切平面，我们将正例中任意一个样本$(x_{正},y_{正})$带入$y=wx+b-1$得到$y\ge 0$,即$wx+b-1\ge 0$,负例也是如此

由小学知识可知，距离是没有负数的。当$y_i$为正例时，$\begin{array}{r}{\gamma }_i=(\frac{w{x}_i+b}{\Vert w\Vert })\end{array}$，当$y_i$为反例时，$\begin{array}{r}{\gamma }_i=-(\frac{w{x}_i+b}{\Vert w\Vert })\end{array}$，所以我们这里用$y_i$抵消$+1,-1$造成的影响

范数科普

平面$w_{1}x+w_{2}y+b=0$,数据$(x_0,y_0)$到平面距离

$$\begin{array}{rl}d& =\frac{|w_1{x}_0+w_2{y}_0+b|}{\sqrt{w_1^2+w_2^2}}\\ & =\frac{|w_1{x}_0+w_2{y}_0+b|}{\Vert w\Vert }\end{array}$$

目标规划

此处细品超平面到边界线距离：训练集$T$中正例(负例)到超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的几何间隔至少是$\gamma$

$$\begin{array}{rl}& \underset{w,b}{\max }{\gamma }_{正}+{\gamma }_{负}\\ & s.t.y_i(\frac{w{x}_i+b}{\Vert x\Vert })\ge {\gamma }_i\end{array}$$

由解疑中的边界切线$wx+b=\pm 1$转化成了

$$\begin{array}{rl}& \underset{w,b}{\max }\frac{1}{\Vert w\Vert }+\frac{1}{\Vert w\Vert }=\frac{2}{\Vert w\Vert }\\ & =s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,m.\\ & s.t.\min y_i(w^T{x}_i+b)=1,i=1,2,\cdots ,m.\end{array}$$

由线性规划在约束条件$s.t.$下让$w$取得最小值，等价于

$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,m.\end{array}$$

对偶问题

强对偶关系

$$\begin{array}{rl}& \underset{w,b}{\min }f(x)=\frac{1}{2}{\Vert w\Vert }^2\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,m.\end{array}$$

如何像你介绍这么精妙绝伦的结论呢？

我们对每条约束添加拉格朗日乘子${\lambda }_i$

我们不妨定义,令$g(w,b)=1-y_i(w^T{x}_i+b)$。于是$L(w,b.\lambda )$先生诞生了

$$\begin{array}{rl}L(w,b,\lambda )& =f(w,b)+\sum _{i=1}^m{\lambda }_{i}g(w,b)\end{array}$$

$L(w,b,\lambda )$先生本来也是个正常人$f(w,b)$，小时候因为父亲离异，酗酒度日。家暴孩子导致人格分裂。损失一部分${\sum }_{i=1}^m{\lambda }_{i}g(w,b)$😄😆

因为家庭背景原因，$L(w,b,\lambda )$从小就与正常孩子不一样。早早社会工作了。整个人事业生活都到了低谷。从此变成了另一个模样$\theta (\lambda )$

$$\begin{array}{r}\theta (\lambda )=\underset{w,b}{\min }L(w,b,\lambda )\end{array}$$

$\theta (w,b)$是一个用$\lambda$表示而$w,b$最小的式子。后来啊。他遇到了令他心动的女孩$ f(w^*,b*)$。喜欢一个人第一感觉往往是自卑，感觉配不上。

如果$w^{\ast },b^{\ast }$是原问题的解，而${\lambda }^{\ast }$是对偶问题的解，则有$f(w^{\ast },b^{\ast })\ge \theta ({\lambda }^{\ast })$

证明

$$\begin{array}{rl}\theta ({\lambda }^{\ast })& =\underset{w,b}{\min }L(w,b,{\lambda }^{\ast })\\ & \le L(w^{\ast },b^{\ast },{\lambda }^{\ast })\\ & =f(w^{\ast },b^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }g(w^{\ast },b^{\ast })\end{array}$$

KKT条件

KKT丘比特

$$\begin{array}{r}\{\begin{array}{l}{\lambda }_i\ge 0\\ 1-y_i(w^T{x}_i+b)\le 0\\ {\lambda }_i(1-y_i(w^T{x}_i+b))=0\\ {▽}_{\mathbf{w}}L(w,b,\lambda )=0\\ {▽}_{\mathbf{b}}L(w,b,\lambda )=0\\ {▽}_{\lambda }L(w,b,\lambda )=0\end{array}\end{array}$$

于是我们$\theta ({\lambda }^{\ast })$开始励精图治。从一个每天低头垂气的人变成一个乐光阳光向上的男孩。由$\le$变为$=$。逐渐变成了最初模样$L(w,b,\lambda )$。开始向$f(w^{\ast },b^{\ast })$小姐送送小礼物。但是这还不够$f(w^{\ast },b^{\ast })+{\sum }_{i=1}^m{\lambda }_i^{\ast }g(w^{\ast },b^{\ast })$。人家还有精神病呢，人格分裂。时不时就会发病。人家不接受他。后来$L(w,b,\lambda )$所做所为感动了$KKT$丘比特。😆。$KKT$丘比特决定为他消除黑历史,。令${\sum }_{i=1}^m{\lambda }_i^{\ast }g(w^{\ast },b^{\ast })=0$.治好他的病。同时让他走上巅峰。令$\{\begin{array}{l}{▽}_{\mathbf{w}}L(w,b,\lambda )=0\\ {▽}_{\mathbf{b}}L(w,b,\lambda )=0\end{array}$,$L(w,b,\lambda ,)$才能取得极值

所以我们我们$\theta ({\lambda }^{\ast })$先生在$KKT$丘比特帮助下终于追到了$f(w^{\ast },b^{\ast })$小姐

$$\begin{array}{r}\{\begin{array}{l}{\lambda }_i\ge 0\\ 1-y_i(w^T{x}_i+b)\le 0\\ {\lambda }_i(1-y_i(w^T{x}_i+b))=0\end{array}\end{array}$$

总结：如果没有丘比特。那请像$\theta ({\lambda }^{\ast })$先生一样死不要脸。

不等式约束优化

$L(w,b.a)$开始逐渐变成一个有能力有担当的青年了。

$$\begin{array}{rl}L(w,b,a)& =\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^m{\lambda }_i(1-y_i(w^T{x}_i+b))\\ & =\frac{1}{2}\Vert w{\Vert }^2+\sum _{i=1}^m({\lambda }_i-{\lambda }_i{y}_i{w}^T{x}_i-{\lambda }_i{y}_{i}b)\\ & =\frac{1}{2}{w}^{T}w+\sum _{i=1}^m{\lambda }_i-\sum _{i=1}^m{\lambda }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\lambda }_i{y}_{i}b\end{array}$$

后来$L(w,b,\lambda )$和$f(w^{\ast },b^{\ast })$小姐发生微妙的关系。对$\mathbf{w}$和$b$分别求偏导数并令其等于$0$

$$\begin{array}{rl}& \frac{\partial L}{\partial w}=\frac{1}{2}\times 2\times w+0-\sum _{i=1}^m{a}_i{y}_i{x}_i-0=0⟹w=\sum _{i=1}^m{\lambda }_i{y}_i{x}_i\\ & \frac{\partial L}{\partial b}=0+0-0-\sum _{i=1}^m{\lambda }_i{y}_i=0⟹\sum _{i=1}^m{\lambda }_i{y}_i=0\end{array}$$

后来啊他儿子诞生了${\sum }_{i=1}^m{\lambda }_i{y}_i=0$因此我们得到一个新的约束，并且带入$\mathbf{w}$和$b$分别求偏导数并令其等于$0$的部分

$$\begin{array}{rl}& \underset{w,b}{\min }f(x)=\frac{1}{2}{\Vert w\Vert }^2\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,\cdots ,m.\end{array}$$

最终组建了一个新家庭

$$\begin{array}{rl}& \underset{\lambda }{\max }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j\\ & s.t.\{\begin{array}{l}{\lambda }_i\ge 0\\ \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}\end{array}$$

分类决策函数

由$KKT$丘比特可知

若${\lambda }_i(1-y_i(w^T{x}_i+b))=0$，${\lambda }_i\ne 0$时候，$1-y_i(w^T{x}_i+b)=0$，若$1-y_i(w^T{x}_i+b)\ne 0$，那么${\lambda }_i=0$，他们俩松弛互补，对求解$L(w,b,a)=\frac{1}{2}\Vert w{\Vert }^2+{\sum }_{i=1}^m{\lambda }_i(1-y_i(w^T{x}_i+b))$没有什么本质影响

解得$L(w,b,\lambda )$中${\lambda }_i$后带入

$$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^N{\lambda }_i^{\ast }{y}_i{x}_i\\ b^{\ast }& =y_j-\sum _{i=1}^N{a}_i^{\ast }{y}_i(x_i{x}_j)\end{array}$$

超平面为

$$\begin{array}{r}\sum _{i=1}^N{a}_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }=0\end{array}$$

分类决策函数

$$\begin{array}{r}f(x)=sign\left(\sum _{i=1}^N{a}_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast }\right)\end{array}$$

根据KKT条件，我们可以对${\alpha }_i$的取值进行讨论，并得出支持向量机一个重要结论：训练完成后，大部分的训练样本都不需要保留，最终模型仅与支持向量(边界)有关。

SMO优化

待补充

核函数

升维

我们在训练一些样本不是线性可分。但是我们可以从高维特征空间使得样本可分。

简而言之就是把$X$提高维度。令$\varphi (x)$表示$X$从低维映射到高维的特征向量。

$$\begin{array}{r}f(x)=w^T\varphi (x)+b\end{array}$$

之前的模型转化为了

$$\begin{array}{rl}& \underset{\lambda }{\max }\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j\\ & s.t.\{\begin{array}{l}{\lambda }_i\ge 0\\ \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}\end{array}$$

由于涉及特征空间内积计算。我们用核函数$K(x_i,x_j)=\varphi (x_i)\varphi (x_j)$替代

对偶问题目标函数变为

$$\begin{array}{r}W(\lambda )=\sum _{i=1}^m{\lambda }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j\end{array}$$

求解后分类决策式子变为

$$\begin{array}{rl}f(x)& =sign\left(\sum _{i=1}^N{a}_i^{\ast }{y}_i\varphi (x)\cdot \varphi (x_i)+b^{\ast }\right)\\ & =sign\left(\sum _{i=1}^N{a}_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }\right)\end{array}$$

核函数

名称	表达式	参数
线形核	$k(x_i,x_j)=x_i^T{x}_j$
多项核	$k(x_i,x_j)=(x_i^T{x}_j{)}^d$	$d\ge 1$为多项式的次数
高斯核	$k(x_i,x_j)=exp(-\frac{\Vert x_i-x_j{\Vert }^2}{2{\sigma }^2})$	$\sigma >0$为高斯核带宽
拉普拉斯核	$k(x_i,x_j)=exp(-\frac{\Vert x_i-x_j{\Vert }^2}{\sigma })$	$\sigma >0$
Sigomid核	$k(x_i,x_j)=tanh(\beta x_i^T{x}_j+\theta )$	$tanh$为双曲线正切函数，$\beta >0,\theta <0$

例题

假设输入空间${\mathcal{R}}^2$，核函数$K(x,z)=(x,z{)}^2$，试图找出相关特征空间$\mathcal{H}$和映射$\varphi (x):{\mathcal{R}}^2\to \mathcal{H}$.

解：取特征空间$\mathcal{H}={\mathcal{R}}^3$，记$x=(x_1,x_2{)}^T，z=(z_1,z_2{)}^T$，因为$(x\cdot z{)}^2=(x_1{z}_1+x_2{z}_2{)}^2=(x_1{z}_1{)}^2+2x_1{x}_2{z}_1{z}_2+(z_1{z}_2{)}^2$，

所以我们取映射

$$\begin{array}{r}\varphi (x)=(x_1^2,\sqrt{2}{x}_1{x}_2,x_2^2{)}^T\end{array}$$

验证$\varphi (x)\cdot \varphi (z)=(x\cdot z{)}^2=K(x,z)$

还可以取映射

$$\begin{array}{r}\varphi (x)=\frac{1}{\sqrt{2}}(x_1^2-x_2^2,2x_1{x}_2,x_1^2+x_2^2{)}^T\end{array}$$

同样可验证$\varphi (x)\cdot \varphi (z)=(x\cdot z{)}^2=K(x,z)$

软间隔与正则化

损失函数

现实生活中，数据没有那么理想，存在一些噪声。很难确定一个核函数使训练样本在特征空间中线性可分，如下图

于是我们改变优化对象

$$\begin{array}{r}\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+loss\end{array}$$

对loss解释:

假如有噪声的的话，我们所求解的$w$斜率会发生偏离，我们加上一定的惩罚项使得他的偏离变小，类似正则化一样的作用。

我们可以采取$L_{0/1}$是$0,1$损失函数

$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m{L}_{0/1}(1-y_i(w^T{x}_i+b))\\ & L_{0/1}(z)\{\begin{array}{l}1,ifz\le 0;\\ 2,otherwise.\end{array}\end{array}$$

其中$z=y_i(w^T{x}_i+b)$，西瓜书感觉有点小问题原书是$\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^m{L}_{0/1}(y_i(w^T{x}_i+b)-1)$。因为有噪声点时候,后半截是-负数，我们这里是求min。联想正则化

这里$C$是惩罚参数，使$\frac{1}{2}\Vert w{\Vert }^2$尽量小。即间隔间隔尽量大。同时使得误分类点个数尽量小。$C$是调和两者系数。

$0,1$求解不方便非连续，性质不好舍去，我们打算寻找更好的替代

Conception

常见损失函数

$$\begin{array}{rl}& hinge损失：L_{hinge}(z)=max(0,1-z)\\ & 指数损失(exponentialloss)=L_{exp}(z)=exp(-z)\\ & 对率损失(logisticloss):L_{log}(z)=log(1+exp(-z))\end{array}$$

之前的$L_{0/1}$损失函数等价合页损失，写法复杂是一种判断非连续的函数

$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^{m}max(0,1-y_i(w^T{x}_i+b))\end{array}$$

软约束

由于噪声，我们可以引入一个松弛变量 ${\epsilon }_i\ge 0$，使得函数间隔加上松弛变量${\epsilon }_i$大于等于$1$

即边界线向超平面靠近

$$\begin{array}{r}{y}_i(w{x}_i+b)\ge 1-{\xi }_i\end{array}$$

• 当样本满足约束时$(y i f ( x i ) ≥ 1 y_if(x_i)\geq 1)，ξ_i = 0 $（hinge损失也为0）

• 当样本不满足约束时（$y_{i}f(x_i)<1,{\xi }_i>0$)（hinge损失为$1-yif(xi)$也大于$0$））

原始问题变为

$$\begin{array}{rl}& \underset{w,b,\epsilon }{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i\\ & s.t.\{\begin{array}{l}{\xi }_i\ge 0,i=1,2,\cdots ,N\\ y_i(w{x}_i+b)\ge 1-{\epsilon }_i,i=1,2,\cdots ,N\end{array}\end{array}$$

如法炮制对偶问题，由广义拉格朗日乘子法可知

$$\begin{array}{r}L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{a}_i(y_i(w\cdot x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i\end{array}$$

令$L(w,b,\xi ,\alpha ,\mu )$对$w,b,{\xi }_i$的偏导为$0$

$$\begin{array}{r}{▽}_{\mathbf{w}}L(w,b,\xi ,\alpha ,\mu )=w-\sum _{i=1}^N{a}_i{y}_i{x}_i=0\\ {▽}_{\mathbf{b}}L(w,b,\xi ,\alpha ,\mu )=-\sum _{i=1}^N{a}_i{y}_i=0\\ {▽}_{{\xi }_{\mathbf{i}}}L(w,b,\xi ,\alpha ,\mu )=C-a_i-{\mu }_i=0\end{array}$$

带入解得

$$\begin{array}{r}\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{a}_i\end{array}$$

在对$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$求极大即得到对偶问题

$$\begin{array}{rl}& \underset{a}{\max }\sum _{i=1}^m{a}_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{a}_i{a}_j{y}_i{y}_j{x}_i{x}_j\\ & s.t.\{\begin{array}{l}{a}_i\ge 0\\ \sum _{i=1}^n{a}_i{y}_i=0\\ {\mu }_i\ge 0\\ C-a_i-{\mu }_i=0\end{array}\end{array}$$

KKT条件

$$\begin{array}{r}\{\begin{array}{l}{\alpha }_i\ge 0,{\mu }_i\ge 0,\\ y_{i}f(x_i)-1+{\xi }_i\ge 0,\\ {\alpha }_i(y_{i}f(x_i)-1+{\xi }_i)=0\\ {\xi }_i\ge 0,{\mu }_i{\xi }_i=0\end{array}\end{array}$$

- [x] 训练样本，总是$a_i=0$或$y_{i}f(x_i)=1-{\xi }_i$，若$a_i=0$，该样本对求解$y_{i}f(x_i)=1-{\xi }_i$支持向量不会 产生影响。若$a_i\ge 0$，则说明我们的支持向量就是$y_{i}f(x_i)=1-{\xi }_i$.

- [x] 由$\frac{\partial (w,b,\xi ,\alpha ,\mu )}{{\xi }_i}$可知$C=a_i+{\mu }_i$，若$a_i<C$，则${\mu }_i>0$，则${\xi }_i=0$，该样本落在边界，若$a_i=C$，则${\mu }_i=0$，则${\xi }_i\le 1$，该样本落在超平面。则${\xi }_i>1$，该样本分类错误，

由此看出，软间隔支持向量最终模型仅与支持向量有关，即通过采用$hinge$损失函数保持了稀疏性(指什么？)

Merits and Demerits

若是使用对率损失函数，几乎就得到对率回归模型，通常情况下性能相当。对率回归主要是输出具有自然意义的概率意义。预测标记同时给出了概率。支持向量机不具有概率意义，要经过特殊处理。对率回归能多分类。支持向量机要推广。支持向量机合页损失的$0$(没有越界的正常样本)的解是离散的。也就是稀疏性。对率损失是连续的光滑递减函数。对率回归依赖更多训练样本。预测开销更大

核方法

就是$\varphi (x)$替代$x$，映射到高维。

待补充

习题

周志华《机器学习》课后习题解答系列（七）：Ch6 - 支持向量机