SVM

简述

支持向量机学习包括：线性可分支持向量机、线性支持向量机及非线性支持向量机。当数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机；当数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即线性支持向量机，又称软间隔支持向量机；当数据线性不可分时，通过核技巧及软间隔最大化，学习非线性支持向量机。

---

细节

硬间隔支持向量机

基本模型

超平面描述：
$wTx+b=0$
其中w=(w1,w2,…wd)为法向量，决定了超平面的方向；b为位移项，是超平面与原点之间的距离。
一个点距离超平面的距离d：
$d=yi\frac{w^T{x}_i+b}{||w||}$ （1）
($xi,yi$为某点的实例与标记)
最大间隔margin：
$d=\frac{2}{||w||}$ （2）
（2）等价于 $min\frac{||w||}{2}$（3）

基本模型：
$min\frac{{||w||}^2}{2}$
$s.t.yi(w^T{x}_i+b)\ge 1,i=1,2,...,m$

原始问题转化为对偶问题

基本模型中目标函数是二次的，约束条件是线性的，所以是凸二次规划问题。
引入拉格朗日对偶性：对偶问题更容易求解；可以引入核函数，进而解决非线性分类问题。
每一个约束条件加上一个拉格朗日乘子$\alpha$，定义拉格朗日函数
$\ell (w,b,\alpha )=\frac{{||w||}^2}{2}-{\sum }_{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1)$
令$\theta (w)=ma{x}_{\alpha i}\ell (w,b,\alpha )$
模型转化成：
$mi{n}_{w,b}\theta (w)=mi{n}_{w,b}ma{x}_{\alpha }\ell (w,b,\alpha )=p\ast$
其对偶问题：
$ma{x}_{\alpha }mi{n}_{w,b}\ell (w,b,\alpha )=d\ast$
在满足某些条件的情况下（KKT），$d\ast =p\ast$，就可以通过求解对偶问题来间接地求解原始问题。
对于一般的最优化标准模型：
$min.f(x)$
$s.t.h_j(x\ast )=0,j=1,...,p,g_k(x\ast )\le 0,k=1,...q$
KKT成立的条件：
1）$h_j(x\ast )=0,j=1,...,p$，$g_k(x\ast )\le 0,k=1,...q$
2）$▽f(x\ast )+{\int }_{j=1}^p{\lambda }_j▽h_j(x\ast )+{\int }_{k=1}^q{\mu }_k▽g_k(x\ast )=0$，${\mu }_k▽g_k(x\ast )=0$

对偶问题求解

原始问题通过满足KKT条件，转化成对偶问题。而求解对偶问题，分为3个步骤：$L(w，b，\alpha )$ 关于 w 和 b 最小化，然后求$\alpha$极大，最后利用SMO算法求解对偶问题中的拉格朗日乘子。

w 和 b 最小化

求偏导：
$\frac{\sigma \ell }{\sigma w}=0\to w={\sum }_{i=1}^n\alpha iyixi$
$\frac{\sigma \ell }{\sigma b}=0\to {\sum }_{i=1}^n\alpha iyi=0$

带入：$\ell (w,b,\alpha )=\frac{{||w||}^2}{2}-{\sum }_{i=1}^n\alpha i(yi(wTxi+b)-1)$
得：
$\ell (w,b,\alpha )=\frac{1}{2}{\sum }_{i,j=1}^n\alpha i\alpha jyiyjxixj-{\sum }_{i,j=1}^n\alpha i\alpha jyiyjxixj-b{\sum }_{i=1}^n\alpha iyi+{\sum }_{i=1}^n\alpha i$

化简：
$\ell (w,b,\alpha )={\sum }_{i=1}^n\alpha i-\frac{1}{2}{\sum }_{i,j=1}^n\alpha i\alpha jyiyjxixj$

$\alpha$极大

由上一步得到：
$ma{x}_{\alpha }{\sum }_{i=1}^n\alpha i-\frac{1}{2}{\sum }_{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$
$s.t.,\alpha i\ge 0,i=1,...,n$
${\sum }_{i=1}^n\alpha iyi=0$

从而求出$\alpha i$
根据$w={\sum }_{i=1}^m\alpha iy(i)x(i)$，可求出$w$

再根据$b\ast =-\frac{1}{2}ma{x}_{i:y(i)=-1}w{\ast }^T{x}^i+mi{n}_{i:yi=1}{w}^{\ast T}{x}^i$，可求出b

拉格朗日乘子$\alpha$

软间隔支持向量机

放宽SVM的限制，可以允许存在一些误分类的点。引入pocket算法，具体来说是找一个犯错最少的超平面

$mi{n}_{w,b}{\sum }_{n=1}^N|[y_n̸=sign(w^T{x}_n+b)]|$

软间隔支持向量机的原始形式：
$mi{n}_{w,\xi ,b}\frac{1}{2}{w}^{T}w+C{\sum }_{n=1}^N{\xi }_n$

$s.t.y_n(w^T{x}_n+b)\ge 1-{\xi }_n$
${\xi }_n\ge 0$

其中所有错误记录在$\xi (\xi \ge 0)$中，即要最小化$\xi$
C用来权衡，C越大越偏向于硬间隔，C越小越偏向于软间隔
由于是最小化，所有引入拉格朗日乘子后与硬间隔有小不同

$\ell (w,b,\xi ,\alpha ,\beta )=\frac{{||w||}^2}{2}+C{\sum }_{n=1}^N{\xi }_n+{\sum }_{i=1}^n{\alpha }_n[1-y_n(w^T{z}_n+b-{\xi }_n)]+{\sum }_{n=1}^N{\beta }_n(-{\xi }_n)$
对$\xi$求偏导
$C-{\alpha }_n-{\beta }_n=0$
带入得：
$\ell (w,b,\alpha ,\beta )=\frac{{||w||}^2}{2}+C{\sum }_{n=1}^N{\xi }_n+{\sum }_{i=1}^n{\alpha }_n[1-{\xi }_n-y_n(w^T{z}_n+b-{\xi }_n)]+{\sum }_{n=1}^N{\beta }_n(-{\xi }_n)$

$=\frac{{||w||}^2}{2}+{\sum }_{i=1}^n{\alpha }_n[1-y_n(w^T{z}_n+b-{\xi }_n)]+{\sum }_{n=1}^N(C-{\alpha }_n)(-{\xi }_n)+C{\sum }_{n=1}^N{\xi }_n-{\sum }_{n=1}^N{\alpha }_n{\xi }_n$

$=\frac{{||w||}^2}{2}+{\sum }_{i=1}^n{\alpha }_n[1-y_n(w^T{z}_n+b)]$

从而去掉了${\xi }_n,{\beta }_n$即：
$ma{x}_{{\alpha }_n}(mi{n}_{w,b}\frac{{||w||}^2}{2}+{\sum }_{i=1}^n{\alpha }_n(1-y_n(w^T{z}_n+b)))$

结果与硬间隔的基本式相同
相对于硬间隔来说，软间隔更加灵活一点，因为可通过调节C来控制模型更加关心的是分隔超平面的间隔大一点，还是分类错误的点少一点。并且不再要求我们的数据是线性可分的。所以软间隔通常要比硬间隔更有实际应用价值。
根据KKT条件：
${\alpha }_n(1-{\xi }_n-y_n(w^T{z}_n+b))=0$
$(C-{\alpha }_n){\xi }_n=0$

当$C̸={\alpha }_n$时${\xi }_n=0$，可以求得$b=y_s-w^t{z}_s$
唯一不同的地方仅仅是${\alpha }_n$有一个上界C。并且对偶问题的解$\alpha$使得我们可以将数据分为三类。

远点（${\alpha }_n=0$）
边界点（$0<{\alpha }_n<C$）
允许的犯规点（${\alpha }_n=C$）

非线性支持向量机

在解决非线性的问题通常将低维特征映射到高维空间上寻找线性可分解

原始数据在2维由非线性的椭圆分割，将特征映射到3维时可线性分解。
例如图中求紫框与绿框中点距时，得到各点位置：
令$\varphi (x)=z$表映射即$\varphi ([x_1,x_2{]}^T)=[x_1^2,\sqrt{2}{x}_1{x}_2,x_2^2{]}^T$其中$z_1=x_1^2,z_2=\sqrt{2}{x}_1{x}_2,z_3=x_2^2$

点\维度	二维	三维
紫框中的点	$[x_{11},x_{12}{]}^T$	$[z_{11},z_{12},z_{13}{]}^T$
绿框中的点	$[x_{21},x_{22}{]}^T$	$[z_{21},z_{22},z_{23}{]}^T$

$\varphi (x_1{)}^T\varphi (x_2)=z_1^T{z}_2=z_{11}{z}_{21}+z_{12}{z}_{22}+z_{13}{z}_{23}=x_{11}^2{x}_{21}^2+2x_{11}{x}_{12}{x}_{21}{x}_{22}+x_{12}^2{x}_{22}^2=(x_{11}{x}_{21}+x_{12}{x}_{22}{)}^2$
这种先转化特征空间再计算内积的方式在升维时会出现指数爆炸，利用核技巧可以直接在原特征空间中计算内积

持续更