SVM

机器学习算法完整版见fenghaootong-github

SVM

• Linear Support Vector Machine
• Dual Support Vector Machine
• Kernel Support Vector Machine
• Soft-Margin Support Vector Machine

Linear Support Vector Mahine

对于一个线性分类器，怎么的线性分类器才是最好的呢？

• 保证它的强壮性(就是可以容忍更多的噪声),就是让离这个分类器最近的点到这个分类器的距离间隔最大，这就是我们接下来要做的事情

• 首先我们要找到一个分类器可以分割开数据，并且使这个分类器最胖，专业一点表示如下

$\underset{w}{\max }$ $fatness(w)$
目标是： $w$分类器使每个($X_n,y_n$)都正确，fatness($w$) = $\underset{n=1,...N}{\min }$ distance($x_n$,$w$)

$\underset{w}{\max }$ $margin(w)$
目标是： 每个$y_n{W}^T{x}_n>0$，margin($w$) = $\underset{n=1,...N}{\min }$ distance($x_n$,$w$)

• 加上常数项

$\underset{b,w}{\max }$ $margin(b,w)$
目标是： 每个$y_n(W^T{x}_n+b)>0$，margin($b,w$) = $\underset{n=1,...N}{\min }\frac{1}{||w||}{y}_n(w^T{x}_n+b)$

• 当$\underset{n=1,...N}{\min }{y}_n(w^T{x}_n+b)=1$时候 $margin($b,w$)=\frac{1}{||w||}$

$\underset{b,w}{\max }\frac{1}{||w||}$

目标是： 每个$y_n(W^T{x}_n+b)>0$ ， $\underset{n=1,...N}{\min }{y}_n(w^T{x}_n+b)=1$

• 最后的变形,这就是SVM的最初形式

$\underset{b,w}{\min }\frac{1}{2}{w}^{T}w$

目标是： 每个$y_n(W^T{x}_n+b)>1$ 对所有的n成立

• 这是一个关于$(b,w)$二次目标函数
• 约束条件线性
• 所以可以使用二次规划QP很容易的解决最优化问题

如果不是线性的

• 可以通过特征转换: $z_n=\Phi (x_n)$

SVM和正则化的区别

	minimize	constraint
regularization	$E_{i}n$	$w^{T}w<=C$
SVM	$w^{T}w$	$E_{i}n=0$[any more]

Dual Support Vector Machine

• 非线性支持向量机

非线性支持向量机

$\underset{b,w}{\min }\frac{1}{2}{w}^{T}w$

目标是： 每个$y_n(W^T{z}_n+b)\ge 1$ 对所有的n成立

• 在解决非线性问题时，二次规划问题有$\tilde{d}+1$个变量和N个条件
• 如果$\tilde{d}$很大，或者无限怎么办？

首先我们用拉格朗日函数去掉限制

$\mathcal{L}(b,w,\alpha )=\frac{1}{2}{w}^{T}w+\sum _{n=1}^N{\alpha }_n(1-y_n(w^T{z}_n+b))$

$SVM\equiv \underset{b,w}{\min }(\underset{all{\alpha }_n\ge 0}{\max }\mathcal{L}(b,w,\alpha ))=\underset{b,w}{\min }$($\infty $if violate; $\frac{1}{2} $if feasible)

经过一系列证明，得出强对偶关系

$\underset{b,w}{\min }(\underset{all{\alpha }_n\ge 0}{\max }\mathcal{L}(b,w,\alpha ))=\underset{all{\alpha }_n\ge 0}{\max }(\underset{b,w}{\min }\mathcal{L}(b,w,\alpha ))$

$\underset{all{\alpha }_n\ge 0}{\max }(\underset{b,w}{\min }\frac{1}{2}{w}^{T}w+\sum _{n=1}^N{\alpha }_n(1-y_n(w^T{z}_n+b)))$

去掉$b,w$

$\underset{all{\alpha }_n\ge 0,\sum y_n{\alpha }_n=0,w=\sum {\alpha }_n{y}_n{z}_n}{\max }-\frac{1}{2}||\sum _{n=1}^N{\alpha }_n{y}_n{z}_n|{|}^2+\sum _{n=1}{\alpha }_n$

使用KKT条件从最优的$\alpha$得出$(b,w)$

primal feasible:$y_n(W^T{z}_n+b)\ge 1$
dual feasible:${\alpha }_n\ge 0$
dual-inner optimal:$\sum y_n{\alpha }_n=0,w=\sum {\alpha }_n{y}_n{z}_n$
primal-inner optimal:${\alpha }_n(1-y_n(w^T{z}_n+b))=0$

变成标准的对偶形式

$\underset{\alpha }{\min }\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{\alpha }_n{\alpha }_m{y}_n{y}_m{Z}_n^T{z}_m-\sum _{n=1}^N{\alpha }_n$

$\sum _{n=1}^N{y}_n{\alpha }_n=0;$
${\alpha }_n\ge 0$,对于n=1，2，…N

这看起来像是N个变量，N+1个条件
使用QP解决

这时如果N过大的化，也很难解
需要特殊的求解器

想到KKT条件${\alpha }_n(1-y_n(w^T{z}_n+b))=0$

如果${\alpha }_n\ge 0$则$b=y_n-w^T{z}_n$
刚好${\alpha }_n>0$时，就是在边界上的点(SV)

所以只需要用边界上的点计算w:$w=\sum _{n=1}^N{\alpha }_n{y}_n{z}_n=\sum _{SV}{\alpha }_n{y}_n{z}_n$
只需要用边界上的点计算b:$b=y_n-w^T{z}_n$

原始SVM和对偶SVM比较

变量从$\tilde{d}+1$到N，使用所有的点
限制条件从N到N+1，仅使用边界上的点

但这时候并没有与$\tilde{d}$完全脱离关系
$q_{n,m}$$=y_n{y}_m{z}_n^T{z}_m$ 仍然是 $\tilde{d}$维中计算内积

Kernel Support Vector Machine

$q_{n,m}$$=y_n{y}_m{z}_n^T{z}_m$ $\tilde{d}$维中计算内积
**$z_n^T{z}_m=\varphi (x_n{)}^T\varphi (x_m)$ **

用二次多项式作为例子

${\varphi }_2(x)=(1,x_1,..,x_d,x_1^2,...x_1{x}_d,x_2{x}_1,x_2^2....,x_2{x}_d,...,x_d^2)$

$$\begin{gathered} {\varphi }_2(x{)}^T{\varphi }_2(x^{{}^{\prime }}) \\ =1+\sum _{i=1}^d{x}_i{x}_i^{{}^{\prime }}+\sum _{i=1}^d\sum _{j=1}^d{x}_i{x}_i^{{}^{\prime }}{x}_j{x}_j^{{}^{\prime }} \\ =1+\sum _{i=1}^d{x}_i{x}_i^{{}^{\prime }}+\sum _{i=1}^d{x}_i{x}_i^{{}^{\prime }}\sum _{j=1}^d{x}_j{x}_j^{{}^{\prime }} \\ =1+x^T{x}^{{}^{\prime }}+(x^T{x}^{{}^{\prime }})(x^T{x}^{{}^{\prime }}) \end{gathered}$$

通过转换可以把复杂度降低$O(d^2)$到$O(d)$

这就是核函数

$K_{\varphi }(x,x^{{}^{\prime }})=\varphi (x{)}^T\varphi (x^{{}^{\prime }})$
$K_{{\varphi }_2}(x,x^{{}^{\prime }})=1+x^T{x}^{{}^{\prime }}+(x^T{x}^{{}^{\prime }})(x^T{x}^{{}^{\prime }})$

$q_{n,m}$$=y_n{y}_m{z}_n^T{z}_m=y_n{y}_{m}K(x_n,x_m)$

这时候的b,用SV$（x_s,y_s)$
$b=y_s-w^T{z}_s=y_s-(\sum _{n=1}^N{\alpha }_n{y}_n{z}_n{)}^T=y_s-\sum _{n=1}^N{\alpha }_n{y}_{n}K(x_n,x_s)$

optimal hypothesis $g_{SVM}$: test input：x

$g_{SVM}=sign(w^T\varphi (x)+b)=sign(\sum _{n=1}^N{\alpha }_n{y}_{n}K(x_n,x)+b)$

这时候就与$\tilde{d}$完全无关了
时间复杂度为$O(N^2)$
仅仅使用SV进行预测

转换成一般的二项式核函数

$$\begin{gathered} k_2(x,x^{{}^{\prime }})=(1+\gamma x^T{x}^{{}^{\prime }}{)}^2 \\ \gamma >0 \end{gathered}$$

一般的多项式核函数
$$\begin{gathered} k_Q(x,x^{{}^{\prime }})=(\zeta +\gamma x^T{x}^{{}^{\prime }}{)}^Q \\ \gamma >0 \\ \zeta \ge 0 \end{gathered}$$

高斯核函数（RBF）
$$\begin{gathered} k(x,x^{{}^{\prime }})=exp(-\gamma ||x-x^{{}^{\prime }}|{|}^2) \\ \gamma >0 \end{gathered}$$

$\gamma$太大，也会过拟合

线性核的优点和缺点

$K(x,x^{{}^{\prime }})=x^T{x}^{{}^{\prime }}$

优点：

• 做什么问题都要从最简单的线性开始
• 解起来比较快
• 用W和SVs可以解释所有

缺点

• 不能解决线性不可分的点

多项式核的优点和 缺点

$k_Q(x,x^{{}^{\prime }})=(\zeta +\gamma x^T{x}^{{}^{\prime }}{)}^Q$

优点：

• 比线性的限制少

缺点：

• 当Q大的时候不容易解
• 参数多，不宜选择

高斯核优点和缺点

$k(x,x^{{}^{\prime }})=exp(-\gamma ||x-x^{{}^{\prime }}|{|}^2)$

优点：

• 比线性和多项式核更有力度
• 边界点数量少
• 一个参数，容易选择

缺点：

• 容易过拟合
• 比线性核慢

怎么样避免高斯核和其他核的过拟合？

Soft-Margin Support Vector Machine

之前的方法都是Hard-Margin SVM，即所有的样本都正确分类才行，这往往需要更多更复杂的特征转换，甚至造成过拟合。

本节课将介绍一种Soft-Margin SVM，目的是让分类错误的点越少越好，而不是必须将所有点分类正确，也就是允许有noise存在。这种做法很大程度上不会使模型过于复杂，不会造成过拟合，而且分类效果是令人满意的。

把SVM转换成如下形式：

$$\underset{b,w}{\min }\frac{1}{2}{w}^{T}w+C\cdot \sum _{n=1}^N[[y_n̸=sign(w^T{z}_n+b)]]$$
对于正确的点 $$y_n(w^T{z}_n+b)\ge 1$$
对于错误的点 $$y_n(w^T{z}_n+b)\ge -\infty$$

两式合并：
$$\underset{b,w}{\min }\frac{1}{2}{w}^{T}w+C\cdot \sum _{n=1}^N[[y_n̸=sign(w^T{z}_n+b)]]$$
条件：
$$y_n(w^T{z}_n+b)\ge 1-\infty \cdot [[y_n̸=sign(w^T{z}_n+b)]]$$

上面的式子只是说点是否犯错误，但有的点犯得错误小有的大，上式中并没有区分，通过引入一个${\xi }_n$来表示每个点犯错误的程度值。

$$\underset{b,w}{\min }\frac{1}{2}{w}^{T}w+C\cdot \sum _{n=1}^N{\xi }_n$$
条件：
$$y_n(w^T{z}_n+b)\ge 1-{\xi }_n,{\xi }_n\ge 0$$

参数C表示尽可能选择宽边界和尽可能不要犯错两者之间的权衡，因为边界宽了，往往犯错误的点会增加。large C表示希望得到更少的分类错误，即不惜选择窄边界也要尽可能把更多点正确分类；small C表示希望得到更宽的边界，即不惜增加错误点个数也要选择更宽的分类边界。

与之对应的QP问题中，由于新的参数 ${\xi }_n$ 的引入，总共参数个数为 $\hat d+1+N $，限制条件添加了 ${\xi }_n\ge 0$ ，则总条件个数为2N。

对偶问题

拉格朗日函数表示为：

$$\mathcal{L}(b,w,\xi ,\alpha ,\beta )=\frac{1}{2}{w}^{T}w+C\cdot \sum _{n=1}^N{\xi }_n+\sum _{n=1}^N{\alpha }_n(1-{\xi }_n-y_n(w^T{z}_n+b))+\sum _{n=1}^N{\beta }_n(-{\xi }_n)$$

转换成对偶的形式：

$$\underset{{\alpha }_n\ge 0,{\beta }_n\ge 0}{\max }(\underset{b,w,\xi }{\min }\frac{1}{2}{w}^{T}w+C\cdot \sum _{n=1}^N{\xi }_n+\sum _{n=1}^N{\alpha }_n(1-{\xi }_n-y_n(w^T{z}_n+b))+\sum _{n=1}^N{\beta }_n(-{\xi }_n))$$

SVM算法经典实例

SVM算法经典实例