支持向量分类机(SVM)

1、硬间隔(hard-margin)

1)基础公式推导

口头禅：SVM有三宝：间隔对偶核技巧

分类：
$$\begin{gathered} hard-marginSVM \\ soft-marginSVM \\ kemel-marginSVM \end{gathered}$$
函数：
$$f(x)=sign(w^{T}x+b),判别模型$$
距离样本点间隔最大

最大间隔分类器（max margin(w，b)):
$$\{\begin{array}{l}s.t.w^{T}x+b>0,y_i=1\\ w^{T}x+b<0,y_i=-1\end{array}$$
整合之后为：
$$y_i\ast (w^T{x}_i+b)>0,i=1,2,...,n,$$
定义变量
$$margin(w,b),distance(w.b,x_i),$$
记
$$\{\begin{array}{l}margin(w,b)=mindistance(w.b,x_i),i=1,2,...,n\\ =min\frac{1}{||w||}|w^T{x}_i+b|,\end{array}$$
则约束条件变为：
$$\{\begin{array}{l}\max \min \frac{1}{||w||}{y}_i(w^T+b)={\max }_{w.b}\frac{1}{w}\min y_i(w^T{x}_i+b),\\ s.t.y_i(w^T{x}_i+b)>0\Rightarrow \exists \gamma >0,s.t.\min y_i(w^T+b)=\gamma \end{array}$$

$$\begin{gathered} 将\gamma 按比例放缩为1，并代入方程，得 \\ s.t.\{\begin{array}{l}{\max }_{w.b}\frac{1}{w}\min y_i(w^T{x}_i+b)=\max \frac{1}{||w||}=\min \frac{1}{2}{w}^{T}w\\ s.t.y_i(w^T{x}_i)\ge 1i=1,2,...,n\end{array} \end{gathered}$$

以上就是几何意义的约束转化成数学表达式以及约束条件。

2)拉格朗日乘子

上一小节里构造出了最终的有约束条件，现在构造拉格朗日函数将有约束问题转化为无约束问题，具体操作为构造拉格朗日函数：
$$L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^n{\lambda }_i(1-y_i(w^T{x}_i+b_i))$$
构造强对偶条件（1）、（2）分别为
$$\begin{gathered} \{\begin{array}{l}{\min }_{w,b}{\max }_{\lambda }L(w,b,\lambda ),\\ s.t.{\lambda }_i\ge 0\end{array}（1） \\ \{\begin{array}{l}{\min }_{\lambda }{\min }_{w,b}L(w,b,\lambda ),\\ s.t.{\lambda }_i\ge 0\end{array}（2） \end{gathered}$$
对于条件（1），当
$$\begin{gathered} 1-y_i(w^T{x}_i+b_i)>0时， \\ \underset{\lambda }{\max }L(w,b,\lambda )\to +\infty \end{gathered}$$
当
$$\begin{gathered} 1-y_i(w^T{x}_i+b_i)\le 0时， \\ \underset{\lambda }{\max }L(w,b,\lambda )=\frac{1}{2}{w}^{T}w \end{gathered}$$
约束条件（1）变为
$$mi{n}_{w,b}\frac{1}{2}{w}^{T}w(1)$$
对于条件（2），当
$$\begin{gathered} 令\frac{\partial }{\partial b}L(w,b,x)=0, \\ 解得\sum _{i-1}^n{\lambda }_i{y}_i=0, \\ 代入L,得 \\ {L}_1(w,x)=\frac{1}{2}{w}^{T}w+\sum _{i=1}^n{\lambda }_i-\sum _{i=1}^n{\lambda }_i{y}_i{w}^T{x}_i,(2.1) \end{gathered}$$
接着对L1求偏导，即
$$\begin{gathered} \frac{\partial }{\partial w}L(w,x)=0, \\ 解得w=\sum _{i=1}^n{\lambda }_i{y}_i{x}_i,(2.2), \\ 将(2.2)代入L_1,得： \\ {L}_2=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j^T+\sum _{i=1}^n{\lambda }_i,(2.3) \end{gathered}$$
最终，条件（2)转化为
$$\{\begin{array}{l}\min \frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i{x}_j^T-{\sum }_{i=1}^n{\lambda }_i,\\ s.t.{\lambda }_i\ge 0,{\sum }_{i=1}^n{\lambda }_i{y}_i=0.\end{array}(2)$$

3)KKT条件

原强对偶问题具有强对偶关系的充要条件为KKT条件，即
$$\{\begin{array}{l}\frac{\partial L}{\partial w}=0,\frac{\partial L}{\partial b}=0,\frac{\partial L}{\partial x}=0,\\ {\lambda }_i(1-y_i(w^T{x}_i+b))=0,(3.1)\\ {\lambda }_i\ge 0,\\ 1-y_i(w^T{x}_i+b)\le 0.\end{array}$$
其中（3.1）为slackness complementary,

对于超平面
$$w^{T}x+b$$
上一节已经解出
$$w^{\ast }=\sum _{i=1}^n{\lambda }_i{y}_i{x}_i$$
假设
$$\begin{gathered} \exists (x_k,y_k),s.t.1-y_k(w^T{x}_k+b)=0. \\ 对此解得b^{\ast }=y_k-w^T{x}_k=y_k-\sum _{i=1}^n{\lambda }_i{y}_i{x}_i \end{gathered}$$
最终得到决策函数
$$f(x)=sign(w^{\ast T}x+b^{\ast })$$