支持向量机公式整理(SVM)

支持向量机可以分为三类：

• 线性可分的情况 ==> 硬间隔最大化 ==> 硬间隔SVM
• 近似线性可分的情况 ==> 软间隔最大化 ==> 线性支持向量机
• 线性不可分的情况 ==> 核技巧/软间隔最大化 ==> 非线性SVM

硬间隔向量机（hard margin svm）

任务：寻找一条与所有支持向量距离最远的决策边界，这条决策边界就是$0=w^{T}X+b$，即：
$$\begin{gathered} w^T{X}_i+b>0,y_i>0 \\ {w}^T{X}_i+b<0,y_i<0 \end{gathered}$$
所以问题可以描述为：
$$\begin{gathered} maxmargin(x,b)s.t.y_i(w^T+b)>0 \\ margin(w,b)=mindistance(w,b,x_i)=min\frac{1}{|w|}|w^T{x}_i+b| \end{gathered}$$
带换一下也就是
$$\begin{gathered} maxmin\frac{1}{|w|}|w^T{x}_i+b|==>max\frac{1}{|w|}min|w^T{x}_i+b| \\ s.t.y_i(w^T{x}_i+b)>0==>\exists r>0,min{y}_i(w^T+b)=r \end{gathered}$$
用r来表示就是：
$$\begin{gathered} max\frac{r}{|w|} \\ \exists r>0,min{y}_i(w^T+b)=r \end{gathered}$$

这里我的理解是：因为$w{x}_i+b=r$ ==> $\frac{w}{r}{x}_i+\frac{b}{r}=1$，所以不管r取什么值，$w=\frac{w_0}{r}$，$b=\frac{b_0}{r}$， 所以r的取值所带来的影响会被最后的w和b所融合进去，所以r=1也没关系。最终的问题可以描述为(这里是N个不等式)：
$$\begin{gathered} max\frac{1}{2}|w{|}^2 \\ s.t.y_i(w^T+b)-1>=0i=1,2,3,...,N \end{gathered}$$
构造拉格朗日函数，引入N个参数$\alpha$，转换成对偶函数如下(大括号表示不出来我也很绝望)：
$$\begin{gathered} min\frac{1}{2}\cdot \sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{x}_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ {\alpha }_i>=0i=1,2,3,..N \end{gathered}$$

使用KKT条件，得到的解：
$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=y_j-\sum _{i=1}^N{a}_i^{\ast }{y}_i\left(x_i\cdot x_j\right)$$

最终的解是：
$$w^{\ast }x+b^{\ast }=0$$

$$f(x)=sign(w^{\ast }x+b^{\ast })$$

软间隔向量机（soft margin svm）

软间隔向量机采用合页损失函数，真实数据中，严格线性可分的数据很少。合页损失函数允许分类时的一点点误差。损失函数如下：
$$\begin{gathered} 1-y_i\left(w^{\top }{x}_i+b\right)⩽0,loss=0 \\ 1-y_{\overline{2}}\left(w^{\top }{x}_i+b\right)>0,loss=1-y_i\left(w^{\top }{x}_i+b\right) \end{gathered}$$
也就是，正确分类并且函数间隔大于1时没有误差，错误分类时，距离决策边界越远的点，受到的惩罚越大。使用合页函数的做优化问题可以表示为：
$$\min \sum _i^N{\left(1-y_i\left(w^T{x}_i+b\right)\right)}_{+}+\lambda \Vert w{\Vert }^2$$

令${\xi }_i=1-y_i(w^T{x}_i+b),{\xi }_i⩾0$，则，分两种情况：
1、$1-y_i(w^T{x}_i+b)>0$ ==> ${\xi }_i=1-y_i\left(w^T{x}_i+b\right)$ ==> $y_i(wx+b)=1-{\xi }_i$
2、$1-y_i(w^T{x}_i+b)⩽0$ ==> $y_i(wx+b)⩽1$ ==> $y_i(wx+b)⩽1-{\xi }_i$ (${\xi }_i=0$)

综合上面两种情况，可以直接写为：$y_i(wx+b)⩽1-{\xi }_i$，这样的话，最优化函数就变成了下面的样子：
$$\begin{gathered} min\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i \\ s.t.y_i\left(w^T{x}_i+b\right)⩾1-{\xi }_i,{\xi }_i⩾0 \end{gathered}$$
这两个式子是等价的。再《统计学习方法》中，先给出了后面的式子，再介绍了合页损失函数

这两个式子转换成等价的对偶函数如下：
$$\begin{gathered} \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i{x}_j\right)-\sum _{i=1}^n{\alpha }_i \\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0 \\ 0\le {\alpha }_i\le C,i=1,2,...N \end{gathered}$$

对偶函数的解是：
$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$

$$b=y_j-\sum _{i=1}^N{a}_i{y}_i\left(x_i\cdot x_j\right)$$

决策函数是：

$$f(x)=sign(\sum _1^N{\alpha }_i{y}_i(x\cdot x_i)+b^{\ast })$$

KKT条件

$$\frac{\alpha f}{\alpha w}=0,\frac{\alpha f}{\alpha b}=0,\frac{\alpha f}{\alpha \lambda }=0$$

$${\lambda }_i(1-y_i(w^T{x}_i+b))=0$$

$${\lambda }_i=0$$

$$(1-y_i(w^T{x}_i+b))<0$$

对于${\lambda }_i(1-y_i(w^T{x}_i+b))=0$ 只要 ${\lambda }_i\ne 0$ ,就有 $1-y_i(w^T{x}_i+b=0$，也就是说$x_i$再决策边界上，$x_i$是支持向量

• 原问题与对偶问题育有强对偶关系 <===> 满足KKT条件

非线性支持向量机（核函数）

核函数可以对特征进行升维（当然，不一定非要是升维，也可能是转换到另一个空间），高维空间的运算量巨大，所以直接使用低维的计算结果，作为两个高维向量的内积：
$$\begin{gathered} \varphi (x_1,x_2)\ast \varphi (x_1^{{}^{\prime }},x_2^{{}^{\prime }})=(z_1,z_2,z_3)\ast (z_1^{{}^{\prime }},z_2^{{}^{\prime }},z_3^{{}^{\prime }}) \\ =(x_1^2,\sqrt{2}{x}_1{x}_2,x_2^2)(x_1^{{}^{\prime }2},\sqrt{2}{x}_1^{{}^{\prime }}{x}_2^{{}^{\prime }},x_2^{{}^{\prime }2}) \\ =(x_1{x}_1^{{}^{\prime }}+x_2{x}_2^{{}^{\prime }})=(x{x}^{{}^{\prime }}{)}^2=K(x,x^{{}^{\prime }}) \end{gathered}$$
核函数等价于两个映射哈函数的内积，不过，这个映射函数不需要手动指出。因为当两个映射函数相乘时，内积的结果可以用核函数表示。而映射函数在最优化问题中都是成对出现的。即出现映射函数的地方都可以用核函数替代。

如果用映射函数将x映射到高维空间，那么应该用高维向量替换x所在的位置：
$$\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i{x}_j\right)-\sum _{i=1}^n{\alpha }_i$$

$$\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(\varphi (x_i)\varphi (x_j)\right)-\sum _{i=1}^n{\alpha }_i$$

$$\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(K(x_i,x_j)\right)-\sum _{i=1}^n{\alpha }_i$$

那么最终拟合的结果也应该是由高维向量表示的：
$$f(x)=sign(\sum _1^N{\alpha }_i{y}_i(\varphi (x)\varphi (x_i))+b^{\ast })$$

$$f(x)=sign(\sum _1^N{\alpha }_i{y}_i(K(x,x_i))+b^{\ast })$$

高斯核函数（RBF）

正太分布：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$$

高斯核函数：
$$K(x,y)=e^{-\gamma \Vert x-y{\Vert }^2}$$

对于正态分布来说：$\sigma$是标准差，$\sigma$越小，曲线越窄。$\sigma$越大，曲线越宽
对于高斯核函数来说：$\gamma$的值越大，曲线越窄;$\gamma$的值越小，曲线越宽;