SVM

一、支持向量机分类

二、线性可分支持向量机

训练数据集$T=(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$，二分类问题，数据线性可分，SVM思想是找出一个分割面$wx+b=0$，将两个类别分开，使得两个类别的样本到分割面的最小距离最大，即分割面使得两个类别的间隔最大化。（下图的绿色线比红色线的分割效果好）

2.1 样本到分割面的距离

样本$(x_0,y_0)$（$x_0$是特征,$y_0$是标签）在直线$Ax+By+C=0$的距离为$\frac{|A{x}_0+B{y}_0+C|}{\sqrt{(}{A}^2+B^2)}$。

2.1.2 函数间隔

数据集中任意一样本$(x_i,y_i)$到分割面$w{x}_i+b=0$的函数间隔为${\gamma }_i=y_i(w{x}_i+b)$.
当$w,b$成比例放缩时，${\gamma }_i$的值也会成比例地变化，但是分割面没有改变，只是方程的形式变了。
为了便于优化，缩放$w,b$使得$\left|w{x}_i+b\right|=1$,此时优化变几何间隔${\hat{\gamma }}_i=\frac{1}{||w||}$

2.2 优化目标

• 线性可分支持向量机是将所有的样本分类正确，即$y_i(w{x}_i+b)\ge 1(i=1,2,...,n)$
• 而且使得所有样本中到分割面的最小距离最大，即${\max }_w\frac{1}{||w||}$.这可以等价于${\min }_w\frac{1}{2}\left||w\right|{|}^2$
  这二者综合起来为：
  $$\underset{w}{\min }\frac{1}{2}\left||w\right|{|}^2(2.2.1)$$
  $$s.t.y_i(w{x}_i+b)\ge 1(i=1,2,...,n)$$

根据拉格朗日乘子法，优化目标可以转变为优化
$$\underset{w,b}{\min }\underset{\lambda }{\max }G(w,b,\lambda )(2.2.2)$$
$$G(w,b,\lambda )=\frac{1}{2}\left||w\right|{|}^2+{\Sigma }_i{\lambda }_i(1-y_i(w{x}_i+b))({\lambda }_i\ge 0,i=1,2,..,n)$$
原始问题的对偶问题为
$$\underset{\lambda }{\max }\underset{w,b}{\min }G(w,b,\lambda )(2.2.2)$$

2.3 等效优化目标求解

在最优值处，函数的偏导均为0，即：
$$\frac{\partial G}{\partial w}=0(2.3.1)$$
$$\frac{\partial G}{\partial b}=0(2.3.2)$$

将$G(x)$代如上面两式得
$$w={\Sigma }_i{\lambda }_i{y}_i{x}_i(2.3.3)$$
$${\Sigma }_i{\lambda }_i{y}_i=0({\lambda }_i\ge 0,i=1,2,..,n)(2.3.4)$$
将(2.3.3)~(2.3.4)反代回$G(x)$,对偶问题的求解变为:
$$\underset{\lambda }{\max }G(x)=\frac{1}{2}{\Sigma }_i{\Sigma }_j{\lambda }_i{\lambda }_j{x}_i{x}_j{y}_i{y}_j+{\Sigma }_i{\lambda }_i(1-y_i({\Sigma }_j{\lambda }_j{y}_j{x}_j{x}_i+b))$$

$$\begin{array}{rl}\underset{\lambda }{\max }G(x)& =\frac{1}{2}{\Sigma }_i{\Sigma }_j{\lambda }_i{\lambda }_j{x}_i{x}_j{y}_i{y}_j+{\Sigma }_i{\lambda }_i(1-y_i({\Sigma }_j{\lambda }_j{y}_j{x}_j{x}_i+b))\\ & =\frac{1}{2}{\Sigma }_i{\Sigma }_j{\lambda }_i{\lambda }_j{x}_i{x}_j{y}_i{y}_j+{\Sigma }_i{\lambda }_i-{\Sigma }_i{y}_i{\Sigma }_j{\lambda }_j{y}_j{x}_j{x}_i+{\Sigma }_i{\lambda }_i{y}_{i}b\\ & =-\frac{1}{2}{\Sigma }_i{\Sigma }_j{\lambda }_i{\lambda }_j{x}_i{x}_j{y}_i{y}_j+{\Sigma }_i{\lambda }_i\end{array}$$
$s.t.{\lambda }_i\ge 0,i=1,2,..,n$

假设${\lambda }^{\ast }=({\lambda }_1^{\ast },{\lambda }_2^{\ast },...,{\lambda }_n^{\ast })$是对偶问题的解，由于优化目标$\frac{1}{2}\left||w\right|{|}^2$是凸函数，满足KKT条件，所以${\lambda }^{\ast }$也是原始问题的解，
$$w^{\ast }={\Sigma }_i{\lambda }_i^{\ast }{y}_i{x}_i$$
$$b^{\ast }=y_j-{\Sigma }_i{\lambda }_i^{\ast }{y}_i{x}_i{x}_j$$
分割面
$$w^{\ast }x+b^{\ast }=0$$
决策函数
$$f(x)=sign(w^{\ast }x+b^{\ast })$$

由$w^{\ast }，b^{\ast }$的表达式可以看出，$w^{\ast },b^{\ast }$只与${\lambda }_i^{\ast }>0$对应的样本有关，其余的样本对其无影响。${\lambda }_i^{\ast }>0$对应的样本是支撑向量，这些样本满足
$$y_i(w^{\ast }{x}_i+b^{\ast })=1((x_i,y_i)是支撑向量)$$

SVM：间隔最大化、拉格朗日公式、对偶问题、KKT条件

满足kkT条件可以转成对偶问题，对偶问题的解就是原问题的解（对偶问题容易求解，推广到非线性分类问题）

1. 原始问题转成无约束化的拉格朗日函数
   由于目标函数1/2||w||是凸函数，同时约束条件不等式是仿射的，根据凸优化理论，我们可以通过拉格朗日函数将我们的优化目标转化为无约束的优化函数
2. 原始问题转成对偶问题
   满足KKT条件
3. 对偶问题求解
4. 带入求处分割面
   支撑向量，对应$\alpha$>0对应的向量

$\alpha$求解，SMO算法