SVM整理

支持向量机Support Vector Machine

数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}
$其中x_i\in R^n,y_i=\pm 1$
SVM通过找最大间隔或解等价的凸优化问题学得分离超平面${\omega }^{\ast }x+b^{\ast }$

决策函数$$f(x)=sign({\omega }^{\ast }x+b^{\ast })$$
函数间隔在成比例改变时,函数间隔会发生变化,但决策平面实际不变,所以引入几何间隔
几何间隔：可分数据集情况下样本点到超平面的最小距离
$$\gamma =\underset{i=1,...,N}{\min }\frac{2y_i(\omega x_i+b)}{\parallel \omega \parallel }=\frac{2}{\parallel \omega \parallel }$$
几何间隔自带L2正则化,所以SVM本身有防止过拟合的能力.
SVM要求解约束优化问题使得在样本被正确分类的情况下，间隔最大
$$\begin{gathered} \underset{\omega ,b}{\max }\gamma \\ s.t.y_i(\omega x_i+b)\ge \gamma \end{gathered}$$
等价为$$\underset{w,b}{\min }\frac{1}{2}\parallel \omega {\parallel }^2$$ $$s.t.y_i(\omega x_i+b)\ge 1$$
支持向量：样本点中与支持向量距离最近的实例，既满足上式中等号成立的样本点
问题的目标函数是二次函数，约束条件为线性约束，所以是凸优化问题。

考虑对偶问题原因：
1.更容易求解和计算，决策函数只与数据中支持向量有关，节约计算量
2.形式上便于引入核函数
要把把有约束的优化问题转化为无约束的优化问题求解,用拉格朗日乘数法，有
$$\mathcal{L}(\omega ,b,\vec{\alpha })=\frac{1}{2}\parallel \omega {\parallel }^2-\sum _{i=1}^N{\alpha }_i{y}_i(\omega x_i+b)+\sum _{i=1}^N{\alpha }_i$$
其中$\vec{\alpha }=[{\alpha }_1,{\alpha }_2,...,{\alpha }_n]为Lagrange因子$
要解决
$$\underset{\vec{\alpha }}{\max }\underset{\omega ,b}{\min }\mathcal{L}(\omega ,b,\vec{\alpha })$$
经过推导
决策函数变为
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x\cdot x_i)+b^{\ast })$$
此时决策函数与内积有关

第二种解决方法：
引入损失函数hinge loss折页损失
$$\mathcal{J}=\sum _{i=1}^{N}max(0,[1-y_i(\omega x_i+b)])+\lambda \parallel \omega {\parallel }^2$$
可用梯度下降法直接进行求解

不可分数据集时

数据集不可分时，加入松弛条件 ${\xi }_i\ge 0,y_i(\omega x_i+b)\ge 1-{\xi }_i$

目标函数变为 $\frac{1}{2}\parallel \omega {\parallel }^2+C{\sum }_{i=1}^N{\xi }_i$

核函数kernel function

数据集不可分时，将数据映射到高维空间中，就可能可分
映射$\varphi (x)$将$x$映射到高维空间中，核函数有如下性质$$K(x,z)=\varphi (x)\cdot \varphi (z)$$
即可通过核函数直接求得高维空间中的内积。
任意半正定的$R^n\ast R^n->R$的映射，只要对特征向量空间满足对称半正定，都可以作为核函数(Mercer’s Theorem)。至于具体的升维方式不重要

此时目标函数为$$W(x)=\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$
决策函数为$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$

使用高斯核函数时(最常用)，由于高斯核函数考察的是相对距离的大小，所以需要做归一化操作。核函数的选取一般采取结果导向。特征纬度很高的情况下，采取线性核函数即可。

多分类问题

处理多分类问题时，一般有两种策略
1.one-against-all
一类为正集，其余所有为负即，需训练n个分类器
可能出现数据偏斜问题（SVM对数据集不平衡不是十分敏感）
2.one-against-one
任意两个类别训练出一个分类器，需$\frac{n(n-1)}{2}$个分类器，最后结果投票产生
3.层次支持向量机（H-SVMs）
4.无环图SVM（Directed Acyclic Graph SVMs，简称DAG-SVMs）

KKT条件

条件极值问题等式约束时用拉格朗日乘数法求解，不等式约束时用KKT(Karush Kuhn Tucker)条件求解
考虑n个不等式的条件极值问题
$$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.g_k(x)\le 0,k=0,1,2,...,n \end{gathered}$$
转化为
$$\begin{gathered} L(x,\mu )=f(x)+\sum _{k=1}^n{\mu }_k{g}_k(x) \\ {u}_k\ge 0 \\ {g}_k(x)\le 0 \\ {\mu }_k{g}_k(x)\le 0(1) \end{gathered}$$

其中(1)式为互补松弛条件
当$x$同时满足$$\frac{\partial L}{\partial x}=0$$
时，$f(x)$取极值
KKT条件是拉格朗日乘数法在不等式条件下的推广。
若满足KKT条件，则求极值顺序可以调换
$$\underset{w,b}{\min }f(x)=\underset{w,b}{\min }\underset{{\alpha }_i}{\max }L(w,b,\alpha )=\underset{{\alpha }_i}{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
$L$先对$w,b$求极值，再对${\alpha }_i$ 求极值，即对$w,b$求偏导等于0
得到$w,b$与${\alpha }_i,x_i,y_i$的关系
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^m{\alpha }_i[y_i(w^{T}x+b)-1]$$
$$\begin{gathered} \frac{\partial L}{\partial w}=w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i=0 \\ \frac{\partial L}{\partial b}=\sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$
将关系带入$L$
可以消去$w,b$同时添加约束条件$\sum {}_{i=1}^m{\alpha }_i{y}_i=0$
整理得$$\underset{\alpha }{\max }L(\alpha )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$
此时只要在KKT即$\sum {}_{i=1}^m{\alpha }_i{y}_i=0$的条件下优化${\alpha }_i$上式即可求得SVM的解，再通过${\alpha }_i$求解出$w,b$
$w={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i$
再由互补松弛条件${\alpha }_i(1-y_i(w^{T}x+b))=0$,${\alpha }_i$不为0时，即可通过支持向量求出$b_i$,当数据集严格可分时，所有$b_i$的值都相同，不可分时，可取所有$b_i$的平均值。

线性不可分数据集

对于线性不可分数据集，约束条件相互矛盾，没有解空间。此时需要在约束条件中引入松弛因子。将原本的约束条件$y_i(w^{T}x+b)\ge 1$,改为$y_i(w^{T}x+b)\ge 1-{\xi }_i$,即点到决策面的距离不一定绝对大于间隔，可能小于间隔或者分类错误。同时，我们想让松弛因子尽可能的小，从而时更多的点能满足一般的条件，则此时的优化问题变为
$$\begin{gathered} \min \frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^m\xi \\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i(i=1,2,...m) \\ {\xi }_i\ge 0 \end{gathered}$$
$C$为超参数，控制正则化，越大模型对异常点的忍耐越小，需要调参。

求解

依然通过KKT条件求解，此时问题有两组不等式约束，引入两组拉格朗日因子
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }_2^2+C\sum _{i=1}^m{\xi }_i-\sum _{i=1}^m{\alpha }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]-\sum _{i=1}^m{\mu }_i{\xi }_i$$
同样，先优化原本的变量，再优化乘数因子
$$\underset{w,b,\xi }{\min }\underset{{\alpha }_i,{\mu }_i}{\max }L(w,b,\alpha ,\xi ,\mu )=\underset{{\alpha }_i,{\mu }_i}{\max }\underset{w,b,\xi }{\min }L(w,b,\alpha ,\xi ,\mu )$$
求偏导等于0，得到
$$\begin{gathered} \frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i \\ \frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0 \\ \frac{\partial L}{\partial \xi }=0\Rightarrow C-{\alpha }_i-{\mu }_i=0 \end{gathered}$$
消去$w,b,{\mu }_i$,忽略常数项$C$,得到
$$L(\alpha )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$
可见优化函数和之前没有正则项时相同，只是多了约束条件$C-{\alpha }_i-{\mu }_i=0$,${\mu }_i$只有约束条件${\mu }_i\ge 0$,所以约束也等价于$0\le {\alpha }_i\le C$
此时模型的支持向量情况较为复杂，只要${\alpha }_i>0$,就是支持向量，包括各种异常点。