线性支持向量机

线性支持向量机

实际当中大多数数据集都不是线性可分的，线性支持向量机主要是针对去掉少数样本之后线性可分样本数据集。线性不可分即意味着由少数样本点不能满足函数间隔大于等于1的约束条件，因此可以对每一个样本点加上一个松弛变量，并对每个松弛变量进行惩罚。于是原始问题变为：
$$mi{n}_{\omega ,b,\xi }\frac{1}{2}||\omega |{|}^2+C\sum _{i=1}^N{\xi }_i$$
$$s.t.y_i(\omega \cdot x_i+b)+{\xi }_i\ge 1$$
$${\xi }_i\ge 0,i=1,...,N$$

• $\frac{{\xi }_i}{||\omega ||}$为错分样本或分对的样本但到所对应的间隔超平面的函数间隔没有达到1的样本到所对应的超平面的距离，如上图所示。
• 原问题是一个凸二次规划问题，$(\omega ,b,\xi )$的解存在，$\omega$是唯一的，$b$的解不唯一。

求解分离超平面

求解方法和线性可分支持向量机差不多：
写出原问题的对偶问题$\gg$由对偶问题的解写出原问题的解

原问题的对偶问题

Step1:原问题的拉格朗日函数为
$$L(\omega ,b,\xi ,\alpha ,\mu )=\frac{1}{2}||\omega |{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(\omega \cdot x_i+b)-1+{\xi }_i)-\sum _i^N{\mu }_i{\xi }_i$$

• 原问题形如：
  $mi{n}_{x\in R}f(x)$
  $s.t{c}_i(x)\le 0,h_j(x)=0$
  $i=1,...,m;j=1,...,n$
  其拉格朗日函数为：
  $L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=f(x)+{\sum }_i{\alpha }_i{c}_i(x)+{\sum }_j{\beta }_j{h}_j(x)$

Step2:求$mi{n}_{\omega ,b,\xi }L(\omega ,b,\xi ,\alpha ,\mu )$
$${▽}_{\omega }L(\omega ,b,\xi ,\alpha ,\mu )=\omega -\sum _i{\alpha }_i{y}_i{x}_i=0$$
$${▽}_{b}L(\omega ,b,\xi ,\alpha ,\mu )=-\sum _i{\alpha }_i{y}_i=0$$
$${▽}_{\xi }L(\omega ,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0$$

将上面三个式子带入$mi{n}_{\omega ,b,\xi }L(\omega ,b,\xi ,\alpha ,\mu )$，得：
$$mi{n}_{\omega ,b,\xi }L(\omega ,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i,x_j)+\sum _{i=1}^N{\alpha }_i$$
Step3:最后得到对偶问题
$$ma{x}_{\alpha }-\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i,x_j)+\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$C={\alpha }_i+{\mu }_i$$
$${\alpha }_i\ge 0,{\mu }_i\ge 0,i=1,...,N$$
去掉${\mu }_i$，得到对偶问题

$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$$0\le {\alpha }_i\le C$$
$$i=1,...,N$$

对偶问题求解

采用上一篇提出的SMO算法

由对偶问题的解写出原问题的解

原始问题是凸二次规划问题，故其拉格朗日函数满足KKT条件，即
$${▽}_{\omega }L(\omega ,b,\xi ,\alpha ,\mu )=\omega -\sum _i{\alpha }_i{y}_i{x}_i=0$$
$${▽}_{b}L(\omega ,b,\xi ,\alpha ,\mu )=-\sum _i{\alpha }_i{y}_i=0$$
$${▽}_{\xi }L(\omega ,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0$$
$${\alpha }_i(y_i(\omega \cdot x_i+b)-1+{\xi }_i)=0$$
$${\mu }_i{\xi }_i=0$$
$$y_i(\omega \cdot x_i+b)-1+{\xi }_i)\ge 0$$
$${\xi }_i\ge 0,{\alpha }_i\ge 0,{\mu }_i\ge 0$$
$$i=1,...,N$$
因此得到原问题的解和对偶问题的解的关系：

$$\omega =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
$$b=y_j-\sum _{i=1}^N{\alpha }_i{y}_i(x_i\cdot x_j)$$
其中$0\le {\alpha }_i\le C$

最终求得超平面

$$\sum _{i=1}^N{\alpha }_i{y}_i(x\cdot x_i)+b=0$$
决策函数
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i{y}_i(x\cdot x_i)+b)$$

支持向量

${\alpha }_i>0$对应得样本点$(x_i,y_i)$为支持向量，此时由KKT条件可知，支持向量分如下几种情况

$\{\begin{array}{ll}{\alpha }_i\le C,{\mu }_i>0,{\xi }_i=0,y_i(\omega \cdot x_i+b)=1& \text{ 分类正确，支持向量落在边界上}\\ {\alpha }_i=C,{\mu }_i=0,0<{\xi }_i<1,0,y_i(\omega \cdot x_i+b)+{\xi }_i=1& \text{分类正确，支持向量落在边界和超平面之间}\\ {\alpha }_i=C,{\mu }_i=0,{\xi }_i=1,y_i(\omega \cdot x_i+b)=0& \text{分类未知，支持向量落在超平面上}\\ \alpha =C,{\mu }_i=0,{\xi }_i>1,y_i(\omega \cdot x_i+b)+{\xi }_i=1& \text{分类错误，支持向量位于超平面误分一次}\end{array}$
上一篇