SVM理解

0 简介

用一个超平面把正负样本分开，最大化(离超平面最近的正负样本距离超平面的)间隔
注意几何间隔和函数间隔的区别 点到超平面的距离公式
仅供个人整理使用，所以写的很简略。。。

1 线性可分

$$\{\begin{array}{l}min\frac{1}{2}{w}^{T}w\\ \\ y_i(w^T{x}_i+b)\ge 1\end{array}$$
构造L
$$\{\begin{array}{l}L(w,b,\alpha )=\frac{1}{2}{w}^{T}w-\sum _{i=1}^l{\alpha }_i[y_i(w^T{x}_i+b)-1]\\ \\ {\alpha }_i\ge 0\end{array}$$
$$L_{old}\ge L$$$$所以min{L}_{old}\ge maxL$$由于要求原目标的最小值
所以问题：对L先求最大值，再求最小值
由于线性可分，满足slater条件，可转化为对偶问题求解
$$\underset{w,b}{\min }[\underset{\alpha }{\max }L(w,b,\alpha )]\iff \underset{\alpha }{\max }[\underset{w,b}{\min }L(w,b,\alpha )]$$转化为对偶问题之后：先求L最小值，再求最大值

1.1 w,b作参数 求极小值

求w b的偏导 令其为0
$$\{\begin{array}{l}\frac{\partial L}{\partial b}=-\sum _{i=1}^l{\alpha }_i{y}_i=0\\ \\ \frac{\partial L}{\partial w_j}=w_j-\sum _{i=1}^l{\alpha }_i{y}_i{x}_{ij}=0\end{array}$$
$$\{\begin{array}{l}\sum _{i=1}^l{\alpha }_i{y}_i=0\\ \\ w=\sum _{i=1}^l{\alpha }_i{y}_i{x}_i\end{array}$$

1.2 α作参数 求极大值

先把上述w和b的表达式代入L 消除w和b 得到(需要展开后式 不想写过程了 直接给出结果)：
$$L=-\frac{1}{2}(\sum _{i=1}^l{\alpha }_i{y}_i{x}_i^T)(\sum _{j=1}^l{\alpha }_j{y}_j{x}_j)+\sum _{i=1}^l{\alpha }_i$$
$$\underset{\alpha }{\max }(L)=\{\begin{array}{l}\underset{\alpha }{\min }\frac{1}{2}(\sum _{i=1}^l{\alpha }_i{y}_i{x}_i^T)(\sum _{j=1}^l{\alpha }_j{y}_j{x}_j)-\sum _{i=1}^l{\alpha }_i\\ \\ {\alpha }_i\ge 0\\ \\ \sum _{i=1}^l{\alpha }_i{y}_i=0\end{array}$$只剩下α参数 求出α即可求出$w$

2 线性不可分

加入松弛变量 $\xi$ 和惩罚因子 $C$ 最优化问题为：
$$\{\begin{array}{l}min\frac{1}{2}{w}^{T}w+C\sum _{i=1}^l{\xi }_i\\ \\ y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ \\ {\xi }_i\ge 0,i=1,2,...,l\end{array}$$
当 ${\xi }_i=0$，样本 $i$ 遵守约束；
当 ${\xi }_i>0$，样本 $i$ 违反约束。
令$w=0,b=0,{\xi }_i=2$ 约束$0>-1$恒成立 满足slater条件
所以可以转化为对偶问题 构造L：
$$\{\begin{array}{l}L(w,b,\alpha ,\xi ,\beta )=\frac{1}{2}{w}^{T}w+C\sum _{i=1}^l{\xi }_i-\sum _{i=1}^l{\alpha }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]-\sum _{i=1}^l{\beta }_i{\xi }_i\\ \\ {\alpha }_i\ge 0\\ \\ {\xi }_i\ge 0\\ \\ {\beta }_i\ge 0\end{array}$$
同理，分为以下两步

2.1 $w,b,\xi$ 作参数 求极小值

求$w,b,\xi$ 的偏导 令其为0
$$\{\begin{array}{l}\frac{\partial L}{\partial b}=-\sum _{i=1}^l{\alpha }_i{y}_i=0\\ \\ \frac{\partial L}{\partial w_j}=w_j-\sum _{i=1}^l{\alpha }_i{y}_i{x}_{ij}=0\\ \\ \frac{\partial L}{\partial {\xi }_i}=C-{\alpha }_i-{\beta }_i=0\end{array}$$
$$\{\begin{array}{l}\sum _{i=1}^l{\alpha }_i{y}_i=0\\ \\ w=\sum _{i=1}^l{\alpha }_i{y}_i{x}_i\\ \\ {\alpha }_i+{\beta }_i=C\end{array}$$

2.2 $\alpha ,\beta$作参 求极大值

将上述表达式代入L，消除$w,b,\xi$ 得：
$$L=-\frac{1}{2}(\sum _{i=1}^l{\alpha }_i{y}_i{x}_i^T)(\sum _{j=1}^l{\alpha }_j{y}_j{x}_j)+\sum _{i=1}^l{\alpha }_i$$求L的最大值 等价于下列：
$$\underset{\alpha ,\beta }{\max }(L)=\{\begin{array}{l}\underset{\alpha }{\min }\frac{1}{2}(\sum _{i=1}^l{\alpha }_i{y}_i{x}_i^T)(\sum _{j=1}^l{\alpha }_j{y}_j{x}_j)-\sum _{i=1}^l{\alpha }_i\\ \\ 0\le {\alpha }_i\le C(因为{\alpha }_i+{\beta }_i=C，{\beta }_i\ge 0)\\ \\ \sum _{i=1}^l{\alpha }_i{y}_i=0\end{array}$$
观察可以发现，与线性可分情况相比，其他相同，就是多了${\alpha }_i\le C$的约束

2.3 简化表述

定义矩阵$Q$
$$Q_{ij}=y_i{y}_j{x}_i^T{x}_j$$
定义矩阵$X=[y_1{x}_1,y_2{x}_2,...,y_l{x}_l]$，则$Q=X^{T}X$
$x:n\times l；X:n\times l；Q:l\times l；e:l\times 1；\alpha ：l\times 1$
原对偶问题可以表示为：
$$\{\begin{array}{l}\underset{\alpha }{\min }\frac{1}{2}{\alpha }^{T}Q\alpha -e^T\alpha \\ \\ 0\le {\alpha }_i\le C\\ \\ y^T\alpha =0\end{array}$$

2.4 KKT条件

最优点处必须满足KKT条件，也就是不等式必须为0
$$\{\begin{array}{l}{\alpha }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]=0,i=1,2,...,l\\ \\ {\beta }_i{\xi }_i=0,i=1,2,...,l\end{array}$$ 而之前的约束是：
$$\{\begin{array}{l}{\alpha }_i\ge 0\\ \\ {\xi }_i\ge 0\\ \\ {\alpha }_i+{\beta }_i=C\\ \\ y_i(w^T{x}_i+b)\ge 1-{\xi }_i\end{array}$$
根据 $\alpha$ 的取值，分为以下情况:

• ① ${\alpha }_i=0\Rightarrow {\beta }_i=C\Rightarrow {\xi }_i=0\Rightarrow y_i(w^T{x}_i+b)\ge 1$
• ② ${\alpha }_i>0\Rightarrow y_i(w^T{x}_i+b)=1-{\xi }_i$
  • ②-① ${\alpha }_i<C\Rightarrow {\beta }_i>0\Rightarrow {\xi }_i=0\Rightarrow y_i(w^T{x}_i+b)=1$
  • ②-② ${\alpha }_i=C\Rightarrow {\beta }_i=0\Rightarrow {\xi }_i\ge 0即可\Rightarrow y_i(w^T{x}_i+b)\le 1$

综上，可分为以下三种情况：
$$\{\begin{array}{l}{\alpha }_i=0\Rightarrow y_i(w^T{x}_i+b)\ge 1\\ \\ 0\le {\alpha }_i\le C\Rightarrow y_i(w^T{x}_i+b)=1\\ \\ {\alpha }_i=C\Rightarrow y_i(w^T{x}_i+b)\le 1\end{array}$$

3 核函数

之前是 $x_i^T{x}_j$ 核函数将其映射为 $K(x_i,x_j)$

• 线性核 $K(x_i,x_j)=x_i^T{x}_j$
• 多项式核 $K(x_i,x_j)=(\gamma x_i^T{x}_j+b{)}^d$
• 高斯核 $K(x_i,x_j)=e^{-\gamma ||x_i-x_j|{|}^2}$
• sigmoid核 $K(x_i,x_j)=tanh(\gamma x_i^T{x}_j+b)$

4 SMO算法

求解出 $\alpha$，即可求出 $w$
个人认为SMO算法可以分为以下几个步骤：

• ①选取两个分量${\alpha }_i,{\alpha }_j$，写出损失函数$f$
• ②根据约束条件得到${\alpha }_j$三种情况下最小值的取值
• ③消掉${\alpha }_i$，求出第2种情况（无约束）下的${\alpha }_j^{无约束}$
• ④根据${\alpha }_j$的值求出${\alpha }_i$的值

过程有点长，就先不写了。。