SVM

点到目标函数距离

如图

$y=w\cdot x+b=0$

$y_1=w\cdot x_1+b=1$ ①

$y_2=w\cdot x_2+b=-1$②

两个点所在的决策边界距离d要尽量大。

d=$\parallel x_1-x_2\parallel cos\theta$

①-②得

$w \cdot (x_1-x_2)=2 $

=> $\parallel w \parallel \cdot \parallel x_1 - x_2 \parallel cos\theta=2 $

=>$\parallel w\parallel \cdot d=2$

d=$\frac{2}{\parallel w\parallel }$ (当$y_i=1$时$w\cdot x_i+b≥1 $，当$y_i=-1$时$w\cdot x_i+b≤-1 $)
$$\{\begin{array}{l}\max \frac{2}{\parallel w\parallel }\\ y_i(w\cdot x_i+b)\ge 1,i=1,2...,N\end{array}$$

求距离最小值

把w放到上面可以方便推导
$$\{\begin{array}{l}\min \frac{{\parallel w\parallel }^2}{2}\\ y_i(w\cdot x_i+b)\ge 1,i=1,2...,N\end{array}$$

拉格朗日乘子法和KKT

上面的式子就是典型的带约束的极值问题。拉格朗日乘子法是约束为等式约束，而这里的不等式约束用的是KKT方法

拉格朗日乘子法

KKT原理待续

$L(w,b,a)=\frac{1}{2}{\parallel w\parallel }^2-\sum _{i=1}^n{a}_i(y_i(w^T{x}_i+b)-1)$ ③

对w,b求导等于0

$\frac{\partial L}{\partial w}=0$

=>$\sum _{i=1}^n{a}_i{y}_i{x}_i=w$ ④

$\frac{\partial L}{\partial b}=0$

=>$\sum _{i=1}^n{a}_i{y}_i=0$ ⑤

$\parallel w\parallel =w^{T}w$

④和⑤带入③得

$=\frac{1}{2}{\parallel w\parallel }^2-\sum _{i=1}^n{a}_i(y_i(w^T{x}_i+b)-1)$

$=\frac{1}{2}{\parallel w\parallel }^2-\sum _{i=1}^n{a}_i{y}_i{w}^T{x}_i-\sum _{i=1}^n{a}_i{y}_{i}b+\sum _{i=1}^n{a}_i$

$=\frac{1}{2}{w}^T\sum _{i=1}^n{a}_i{y}_i{x}_i-w^T\sum _{i=1}^n{a}_i{y}_i{x}_i-0+\sum _{i=1}^n{a}_i$

$=\sum _{i=1}^n{a}_i-\frac{1}{2}{w}^T\sum _{i=1}^n{a}_i{y}_i{x}_i$

$=\sum _{i=1}^n{a}_i-\frac{1}{2}(\sum _{i=1}^n{a}_i{y}_i{x}_i{)}^T\sum _{i=1}^n{a}_i{y}_i{x}_i$

得：

$L(w,b,a)=\sum _{i=1}^n{a}_i-\frac{1}{2}\sum _{i,j=1}^n{a}_i{a}_j{y}_i{y}_j{x}_i^T{x}_j$

转换为对偶

$\underset{a}{\max }\sum _{i=1}^n{a}_i-\frac{1}{2}\sum _{i,j=1}^n{a}_i{a}_j{y}_i{y}_j{x}_i^T{x}_j$

s.t.,$a_i$≥0,i=1,…,n

​ $\sum _{i=1}^n{a}_i{y}_i$=0

SMO求解

待续

核函数

上面是线性可分的情况$y=w\cdot x+b=0$

大部分情况是线性不可分。用核函数将数据映射到高维空间。

$w^T\varphi (x)+b=0$

得到对偶

$\underset{a}{\max }\sum _{i=1}^n{a}_i-\frac{1}{2}\sum _{i,j=1}^n{a}_i{a}_j{y}_i{y}_j\varphi (x_i{)}^T\varphi (x_j)$

s.t.,$a_i$≥0,i=1,…,n

​ $\sum _{i=1}^n{a}_i{y}_i$=0