支持向量机SVM理论分析

支持向量机目的： 寻找一个超平面将样本分为两类，并且使得二者之间的间隔最大。
该超平面的系数使用$\omega$表示。

假设满足超平面满足的关系式为：${\omega }^T\varphi (x)+b=0$,其中$\varphi$为空间转换函数，能将线性不可分空间的样本转换为线性可分空间样本。由此，SVM算法可使用于线性可分空间和非线性可分空间。
支持向量机适用于分类，也适用于回归，当用于回归时称为SVR.

线性可分空间分析

令$y={\omega }^{T}x+b$，考虑二分类，基于SVM的二分类可以理解为计算平面$y={\omega }^{T}x+b=0$ ，当
{ y ( x i ) < 0    ⟺    y i 为 负 例 y ( x i ) > 0    ⟺    y i 为 正 例 \{^{y(x_i) > 0 \iff y_i 为正例}_{y(x_i) < 0 \iff y_i为负例} {y(xi​)<0⟺yi​为负例y(xi​)>0⟺yi​为正例​
假设正例：$y_i>0$, 负例：$y_i<0$，则有 $y_{i}y(x_i)>0$。
简单计算：不妨考虑$y=\pm 1$为两类的标签，即
{ y ( x i ) < 0    ⟺    y i = − 1 y ( x i ) > 0    ⟺    y i = 1 \{^{y(x_i) > 0 \iff y_i = 1}_{y(x_i) < 0 \iff y_i=-1} {y(xi​)<0⟺yi​=−1y(xi​)>0⟺yi​=1​
如上图，由于可分离，我们可以直接考虑
{ y ( x i ) ≤ − 1 ,   y i = − 1 y ( x i ) ≥ 1 ,   y i = 1    ⟺    y i y ( x i ) ≥ 1 \{^{y(x_i) \geq 1 ,\ y_i =1}_{y(x_i) \leq -1 ,\ y_i = -1} \iff y_iy(x_i) \geq1 {y(xi​)≤−1, yi​=−1y(xi​)≥1, yi​=1​⟺yi​y(xi​)≥1
在该假设下，svm的原理就是求$\omega$和$b$使得${\omega }^{T}x+b=1$和${\omega }^{T}x+b=-1$两直线间的距离最大。

模型部分

1. 数学语言描述
   svm基本型：
   { s . t :   y i ( ω T x i + b ) ≥ 1   f o r   i = 1 , . . . , n max ⁡ 1 ∣ ∣ ω ∣ ∣ \{^{\max\cfrac{1}{||\omega||} }_{s.t: \ y_{i}(\omega^Tx_i+b) \geq 1 \ for \ i = 1,...,n} {s.t: yi​(ωTxi​+b)≥1 for i=1,...,nmax∣∣ω∣∣1​​
   svm基本型在运筹学中属于二次规划问题，而且是凸二次规划问题。
   说明：原本完整的公式是 arg max ⁡ ω , b { 1 ∥ w ∥ m i n [ y i ( ω T x i + b ) ] } \argmax\limits_{\omega,b}\{ \cfrac{1}{\|w\|}min[y_i(\omega^Tx_i+b)]\} ω,bargmax​{∥w∥1​min[yi​(ωTxi​+b)]}，在给定约束条件的情况下，该函数就简化为svm基本型。

2.函数间隔
在超平面${\omega }^{T}x+b=0$确定的情况下，$|{\omega }^{T}x+b|$表示点到超平面的距离，若$y=\pm 1$代表样本的正负例，则函数间隔定义为：
$${\gamma }_i=y_i({\omega }^T{x}_i+b)$$
显然，$\gamma$值越大，说明点距离平面越远，分类的可靠程度更高，而整个数据集的函数间隔为
$$\gamma =\min {\gamma }_{i}i=1,...,n$$
对超平面${\omega }^{T}x+b=0$而言，当$\omega$和$b$同时扩大和缩小n倍时，代表的是同一个平面，但此时的函数间隔却跟在变化了，所以单纯的函数间隔没办法直接确定$\omega$和$b$，由此，需加入约束条件使得函数间隔固定，这就是几何间隔引入的原因。
3.几何间隔
定义：
$$\gamma =\frac{{\omega }^{T}x+b}{||\omega ||}$$
为保证几何间隔的正性，对其进行如下的改进：
$$\gamma =\frac{y({\omega }^{T}x+b)}{||\omega ||}$$
这种情况下，就将函数间隔与几何间隔合并到一个函数中考虑了。由此，得到了svm基本型的公式。
对于svm中最值的分子设置为1,主要是由于超平面${\omega }^{T}x+b=0$中的$\omega$和b在同倍缩放的情况下并不影响超平面的位置，所以我们总能通过对$\omega$和b的调节使得分子为1。

求解过程

svm分类 $⟺$ { s . t :   y i ( ω T x i + b ) ≥ 1   f o r   i = 1 , . . . , n max ⁡ 1 ∣ ∣ ω ∣ ∣ \{^{\max\cfrac{1}{||\omega||} }_{s.t: \ y_{i}(\omega^Tx_i+b) \geq 1 \ for \ i = 1,...,n} {s.t: yi​(ωTxi​+b)≥1 for i=1,...,nmax∣∣ω∣∣1​​
将上述约束问题转换为二次凸约束条件：
$$min\frac{1}{2}||\omega |{|}^2,s.t:y_i({\omega }^T{x}_i+b)\ge 1fori=1,...,n$$

引入拉格朗日优化法和KKT条件：
$$L(\omega ,b,\alpha )=\frac{1}{2}||\omega |{|}^2-\sum _{k=0}^n{\alpha }_i[y_i({\omega }^T{x}_i+b)-1]$$

由上，求解出$\omega$和b即可，但在具体的求解过程中需将问题转换为对偶问题进行求解，及非线性分类时的求解思路，下次再继续！