如何理解SVM算法

如何理解SVM算法

1. SVM算法概述

SVM算法（support vector machine，支持向量机），是一种二分类算法，可以分为线性SVM算法和非线性SVM算法，线性SVM指的是通过高维空间的超平面做分类，非线性SVM指通过高维空间中的曲面做分类。关于线性SVM又可以分为线性可分SVM算法和线性不可分SVM算法，对于线性可分的样本，采用的分割方法为间隔最大化，对于线性不可分的样本，如果使用线性分类方法，那么无法避免要产生错误的分类，这时候需要在容许一定误差的情况下做到间隔最大化。非线性SVM算法其实是通过低维空间向高维空间的映射来完成的，映射的过程需要用到核函数。

2. 线性可分SVM算法

给定线性可分训练数据集，通过间隔最大化来寻找分离超平面，如下图所示

SVM 示意图

分类函数为

$$f(x)=sign({\omega \text{ω}\omega }^{\ast }\cdot x\text{x}x+b)\text{\hspace{1em}(2.1)}$$
待判别的类型取值为{-1, 1}
间隔距离指的是正样本到分类超平面的距离与负样本到超平面的距离之和，距离如下
$$d=\frac{2}{|\omega \text{ω}\omega |}$$
因此对于解决线性可分SVM算法，等价于最大化d，既有下式
$$\underset{\omega ,b}{\max }\frac{2}{|\omega \text{ω}\omega |}\text{\hspace{1em}(2.2)}$$
$$s.t.y_i(\omega \text{ω}\omega \ast x_i+b)\ge 1\text{\hspace{1em}(2.3)}$$
上式通过等价可以转换为
$$\underset{\omega ,b}{\min }\frac{1}{2}||\omega \text{ω}\omega ||\text{\hspace{1em}(2.4)}$$
$$s.t.y_i(\omega \text{ω}\omega \ast x_i+b)\ge 1\text{\hspace{1em}(2.5)}$$
通过拉格朗日法，可以将上面最优化式子转化为
(2.6) max ⁡ α min ⁡ ω , b L ( ω , b , α ) = 1 2 ∣ ∣ ω ∣ ∣ − ∑ i = 1 N α i y i ( ω ⋅ x i + b ) + ∑ i = 1 N α i \max_{\alpha}\min_{\omega, b}L(\pmb\omega, b, \pmb\alpha) = \frac{1}{2}||\pmb\omega|| - \sum_{i=1}^N{\alpha_iy_i(\pmb\omega\cdot x_i + b)} + \sum_{i=1}^{N}\alpha_i \tag{2.6} αmax​ω,bmin​L(ωωω,b,ααα)=21​∣∣ωωω∣∣−i=1∑N​αi​yi​(