机器学习之支持向量机(SVM)

支持向量机/SVM(support vector machines)，通常被用作分类模型，也可用作回归模型。SVM的分类原理是使样本在特征空间上的间隔最大化，即使得样本到分类平面的最小距离最大化。
SVM既可处理线性分类，通过引入软间隔可处理近似线性分类，通过引入核函数可处理非线性分类。

1 SVM原理

SVM处理线性可分数据，线性近似可分数据和非线性数据，基本原理相似。

1.1 线性可分SVM

分类超平面： $w\cdot x+b=0$
分类决策函数： $f(x)=sign(w\cdot x+b)$
线性可分SVM，当参数$w$,$b$确定后，分类超平面和分类决策函数则确定了。

SVM的基本原理为特征空间间隔最大化。
对于特征空间上给定的样本 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } {T=\left\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\right\}} T={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)}，所有样本点到分类超平面的函数间隔的最小值用$\hat{\gamma }$表示，特征空间间隔最大化即使得$\gamma$最大。
其中，$\hat{\gamma }=min(\widehat{{\gamma }_1},\widehat{{\gamma }_2},...,\widehat{{\gamma }_n})$
样本点到分类超平面的函数间隔表示为$\widehat{{\gamma }_i}=y_i(w\cdot x_i+b)$，$|w\cdot x_i+b|$可相对地表示样本点距离分类超平面的远近，$(w\cdot x_i+b)与$$y_i$的符号一致性可表示分类是否正确。
从函数间隔的表示可知，函数间隔$\widehat{{\gamma }_i}$与$(w,b)$成比例，不妨引入规范化$||w||=1$，使间隔不再成比例变化，此时函数间隔$\hat{\gamma }$变成了几何间隔$\gamma$, ${\gamma }_i=\frac{\widehat{{\gamma }_i}}{||w||}$。

线性可分SVM表示为:
$\underset{w,b}{\max }\gamma$
$s.t.y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})>=\gamma ,i=1,2,...,n$
由于$\hat{\gamma }$和$w$成比例，故不妨使$\hat{\gamma }=1$，根据$\hat{\gamma }$和$\gamma$的关系(${\gamma }_i=\frac{\widehat{{\gamma }_i}}{||w||}$)，可将SVM表示为:
$\underset{w,b}{\max }\frac{1}{||w||}$
$s.t.y_i(w\cdot x_i+b)>=1,i=1,2,...,n$
由于$\max \frac{1}{||w||}$和$\min \frac{1}{2}||w|{|}^2$是等价的，所以SVM可转化为如下问题：
$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$
$s.t.y_i(w\cdot x_i+b)-1>=0,i=1,2,...,n$
应用拉格朗日对偶性，对每一个不等式约束引入拉格朗日乘子${\alpha }_i$，将拉格朗日函数分别对$w,b$求偏导并令其等于0，可得到
$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i,$
$\sum _{i=1}^n{\alpha }_i{y}_i=0.$
将上面两个式子带入拉格朗日函数，求拉格朗日函数对$\alpha$的极大，则将原始问题转化为如下问题
$\underset{w,b}{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)$
$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i>0,i=1,2,...,n$
求解$\alpha$的最优解后，可得到$w,b$的最优解。假设最优解 α ∗ = { α 1 ∗ , α 2 ∗ , . . . , α n ∗ } {\alpha^*=\left\{{\alpha_1^*},{\alpha_2^*},...,{\alpha_n^*}\right\}} α∗={α1∗​,α2∗​,...,αn∗​}，则一定存在某个维度${\alpha }_j^{\ast }>0$，根据拉格朗日KKT条件，可知对应的$y_j(w\cdot x_j+b)=1$，可求得$w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i,b^{\ast }=y_j-w^{\ast }\cdot x=y_j-\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$

从以上求解过程可知，${\alpha }_i^{\ast }>0$对应的样本点$x_i$到分类超平面的距离为1，即为所有样本点到分类平面距离最小的点，如下图所示，这些样本点为支持向量，根据SVM的原理可知，分类超平面只和支持向量有关。样本点在特征空间的分布形成了以分类超平面为对称中心的带状空间，带状空间的距离为$\frac{2}{||w||}$,此带状空间内无样本点数据。

图1 支持向量

1.2 线性SVM

1.3 非线性SVM

未完待续…