【白板推导系列&西瓜书学习笔记】SVM

硬间隔SVM模型定义（最大间隔分类器）

SVM有三宝：间隔、对偶、核技巧 。其中核技巧/核函数是SVM之前就有的，可使SVM从普通特征空间映射到高维空间，实现一定的非线性分类。

SVM分类：hard-margin SVM、soft-margin SVM、kenel SVM 下面先介绍hard-margin SVM。

SVM最初用来进行二分类（+1、-1）：

超平面：$w^{T}x+b=0$
判别模型：$f(w)=sign(w^{T}x+b)$
样本点： { ( x i , y i ) } i = 1 N , x i ∈ R p , y i ∈ { − 1 , 1 } \{ (x_{i},y_{i}) \}^{N}_{i=1},x_{i}\in \mathbb{R}^{p},y_{i}\in \{-1,1\} {(xi​,yi​)}i=1N​,xi​∈Rp,yi​∈{−1,1}

如何从多条分类直线中找到分类分得最好的那一条呢？
找到最中间的一条线，使其离样本点的距离最大。数学表达式为：
$maxmargin(w,b)$
$s.t.\{\begin{array}{ccc}{w}^T{x}_i+b>0,& y_i=+1& \\ & & \\ w^T{x}_i+b<0,& y_i=-1& \end{array}$ i.e. $y_i(w^T{x}_i+b)>0,i=1,2,...,N$
其中$margin(w,b)=mi{n}_{w,b,x_i,i=1,2,...,N}distance(w,b,x_i)$
其中$distance=\frac{1}{\Vert w\Vert }\left|w^T{x}_i+b\right|$为样本点到直线的距离。

整理之后得到：
$ma{x}_{w,b}\frac{1}{\Vert w\Vert }mi{n}_{x_i,i=1,2,...,N}{y}_i(w^T{x}_i+b)$
$s.t.y_i(w^T{x}_i+b)>0,i=1,2,...,N$
令$min{y}_i(w^T{x}_i+b)=\gamma ,i=1,2,...,N$。

又为了避免$w,b$的缩放带来的同一条直线可由无数对$w,b$表示的问题，令$\gamma =1$，这样，当$w,b$取不同值时代表的是不同的直线。，然后将最大化的优化问题转化为最小化的优化问题，得到：
$mi{n}_{w,b}\Vert w\Vert$
$s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,N$

最后转化为二次凸优化问题:
$mi{n}_{w,b}\frac{1}{2}{w}^{T}w$
$s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,N$

这里$\frac{1}{2}$是为了求导时简便。样本不多的时候，可用QP问题的套件解决，求解比较复杂时再引入对偶或者核函数方法。

硬间隔SVM模型求解（对偶问题）

求解：
$mi{n}_{w,b}\frac{1}{2}{w}^{T}w$
$s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,N$

首先引入拉格朗日乘子写出上式的拉格朗日函数：
$\mathcal{L}(w,b,\lambda )=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^N{\lambda }_i(1-y_i(w^T{x}_i+b))$, 其中$\lambda \ge 0,(1-y_i(w^T{x}_i+b))\le 0$
这样就将原来带约束的优化问题转化为了如下不带约束的优化问题：
$mi{n}_{w,b}ma{x}_{\lambda }\mathcal{L}(w,b,\lambda )$
$s.t.{\lambda }_i\ge 0$

转换后的数学模型和原模型是等价的，因为原模型的约束含在了$ma{x}_{\lambda }\mathcal{L}(w,b,\lambda )$里，仅满足原约束时，$\mathcal{L}(w,b,\lambda )$才存在最大值且最大值是$\frac{1}{2}{w}^{T}w$，否则为正无穷，此时目标函数与原模型也是一致的。

下面来写原问题的对偶问题：
$ma{x}_{\lambda }mi{n}_{w,b}\mathcal{L}(w,b,\lambda )$
$s.t.{\lambda }_i\ge 0$

因为凸优化二次规划问题天生满足强对偶，即$minmaxf=maxminf$所以对偶问题和原问题同解。下面对对偶问题进行求解：
$\frac{\partial \mathcal{L}}{\partial b}=-{\sum }_{i=1}^N{\lambda }_i{y}_i=0$
将 ${\sum }_{i=1}^N{\lambda }_i{y}_i=0$ 代入 $\mathcal{L}(w,b,\lambda )$得：
$\mathcal{L}(w,b,\lambda )=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^N{\lambda }_i-{\sum }_{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i$

$\frac{\partial \mathcal{L}}{\partial w}=w-{\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i=0$ 即 $w={\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i$。 代入 $\mathcal{L}(w,b,\lambda )$得：
$\mathcal{L}(w,b,\lambda )=-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\lambda }_i$

下面再求$\mathcal{L}(w,b,\lambda )=\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-{\sum }_{i=1}^N{\lambda }_i$ 对$\lambda$ 的最小值。这也是一个凸优化QP问题，可用QP套件。

下面介绍KKT条件：
$\{\begin{array}{ccc}& \frac{\partial \mathcal{L}}{\partial w}=0\frac{\partial \mathcal{L}}{\partial b}=0\frac{\partial \mathcal{L}}{\partial \lambda }=0& \\ & & \\ & {\lambda }_i(1-y_i(w_i^T+b))=0& \\ & & \\ & {\lambda }_i\ge 0& \\ & 1-y_i(w_i^T+b)\le 0& \end{array}$

以上是前面模型对应的KKT条件，第二条为互补松弛条件。原问题和对偶问题是强对偶关系的充要条件是他们满足KKT条件。根据KKT条件可以求出最后的$w^{\ast },b^{\ast }$。且$w^{\ast }$的求解只跟$w^{T}x+b=\pm 1$上的样本点有关，因为只有这些样本点的${\lambda }_i$可以不为0，这些点称为支持向量。

核函数

原始样本空间也许并不能线性可分，可将样本映射到一个更高维的空间，使其能够线性可分。若原始空间为有限维则一定存在一个高维空间可使其线性可分。

用$\varphi (x)$表示映射到高维空间后的特征向量，带入前一小节的数学模型中，最终可以得到类似于$\mathcal{L}(w,b,\lambda )=\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-{\sum }_{i=1}^N{\lambda }_i$ 的表达式，只是$x$变为$\varphi (x)$, 要求其关于${\lambda }_i$的最小值。其中涉及到 $\varphi (x{)}^T\varphi (x)$, 高维空间的维数过高时很难求解，所以这里引入核函数。

即$x_i,x_j$在高维空间的内积等于他们在原始空间中通过函数$k(,)$计算的结果。这样就能简化计算。那么，如何确定核函数？

任何一个核函数都隐式地定义了一个称为“再生核希尔伯特空间”地特征空间。

函数组合得到和函数的方式：

1. 若k1,k2为核函数，则对任意正数r1,r2, 其线性组合r1k1+r2k2也是核函数
2. 若k1,k2为核函数，则核函数的直积$k_1⨂k_2(x,z)=k_1(x,z)k_2(x,z)$也是核函数。
3. 若k1为核函数，则对任意函数g(x)，$g(x)k_1(x,z)g(z)$也是核函数。

软间隔与正则化

现实任务中很难确定合适的核函数使训练样本在特征空间线性可分，即使找到了也无法断定是否是过拟合的结果。一个缓解办法是允许SVM在一些样本上出错。

在最大化间隔的同时，分类错误的样本应该越少越好，于是优化目标变为：

其中

为损失函数，C是一个正常数。$l_{0/1}$非凸不连续不好计算，于是用数学性质更好的替代损失函数。
优化目标的前一部分称为“结构风险”，用来最大化间隔，后一部分称为“经验风险“，用来描述模型与训练参数之间的契合度。C用于对二者进行折中。

支持向量回归SVR

现考虑回归问题。有一些 D = { ( x 1 , y 1 ) , . . . , ( x m , y m ) } D=\{(x_{1},y_{1}),...,(x_{m},y_{m})\} D={(x1​,y1​),...,(xm​,ym​)}训练样本，希望得到形如$f(x)=w^{T}x+b$的回归模型。传统回归方法用f(x)与y之间的差异计算损失，但SVR不同。假设我们容忍f(x)与y之间最多有$ϵ$的偏差。落入$2ϵ$间隔带内的样本不计损失。

于是SVR问题可形式化为：

其中

为$ϵ$不敏感损失。

SVM的难点

SVM是针对二分类任务设计的，也有改进为多分类任务的算法。核函数直接决定了SVM和核方法的最终性能，但核函数的选取仍是一个未决问题。多核学习实际上借助了集成学习的方法。另外还有替代函数的一致性问题，已有相关一些研究。