支持向量机 - 软间隔最大化

前言

之前写的一偏文章主要是SVM的硬间隔，结合SVM拉格朗日对偶问题可以求解得到空间最大超平面，但是如果样本中与较多的异常点，可能对样本较敏感，不利于模型泛化，于是有了软间隔的支持向量机形式，本文来了解一下此问题。

软间隔最大化

引入松弛变量，使得一部分异常数据也可以满足约束条件：$y_i(x_i+b)>=1-{\epsilon }_i$，既然约束条件引入了松弛变量，那么点到超平面的距离是不是也要改变，于是调整为：
$$\begin{gathered} \min \frac{1}{2}||w|{|}^2+C\sum _i^N{\epsilon }_i \\ s.t.y_i(x_i+b)\ge 1-{\epsilon }_i\text{i=1,2...,n} \\ {\epsilon }_i\ge 0 \end{gathered}$$

• C：表示惩罚因子，这个值大小表示对误分类数据集的惩罚，调和最大间距和误分类点个数之间的关系。
• ${\epsilon }_i$：也作为代价。

这也是一个凸二次规划问题，可以求解得到$w$，但b的求解是一个区间范围，让我们来看看是怎么回事，求解流程跟硬间隔没差别，直接得到拉格朗日对偶问题：

$$\underset{a_i>0,\mu >0}{\max }\underset{w_i,b,\epsilon }{\min }L(w,b,\epsilon ,a,\mu )=\frac{1}{2}||w|{|}^2+C\sum _i^N{\epsilon }_i+\sum _{i=1}^N{a}_i[1-y_i(w{x}_i+b)+{\epsilon }_i]+\sum _i^N{\mu }_i{\epsilon }_i$$
继续按照流程走：

• 对w、b、$\epsilon$ 求偏导，让偏导等于0，结果为：
  $$\begin{gathered} w=\sum _i{a}_i{y}_i{x}_i \\ \sum _i{a}_i{y}_i=0 \\ C-a_i-u_i=0 \end{gathered}$$
• 代入上面的方程得到：

$$\begin{gathered} \underset{a_i>0,\mu >0}{\max }L(w,b,\epsilon ,a,\mu )=-\frac{1}{2}\sum _i\sum _j{a}_i{a}_j{y}_i{y}_j(x_i\ast x_j)+\sum _i{a}_i \\ s.t.\sum _i^N{a}_i{y}_i=0 \\ 0\le a_i\le C \end{gathered}$$
去掉符号，将max 转换为 min ：
$$\begin{gathered} \underset{a_i>0,\mu >0}{\min }L(w,b,\epsilon ,a,\mu )=\frac{1}{2}\sum _i\sum _j{a}_i{a}_j{y}_i{y}_j(x_i\ast x_j)-\sum _i{a}_i \\ s.t.\sum _i^N{a}_i{y}_i=0 \\ 0\le a_i\le C \end{gathered}$$
这里代入之后就只有一个因子$a_i$，对此方程求解$a_i$

• w、b:
  $$w=\sum _i{a}_i{y}_i{x}_i$$
  b的计算就需要思考了，选取满足$0\le a_i\le C$的$a_i$，利用这些点来求解b：
  $$b=y_j-\sum _i{a}_i{y}_i(x_i\ast x_j)$$
  当然符合这个条件的也不只有一个，存在多个条件。求解平均值作为一个唯一值。

• 超平面
  $$y=wx+b$$

和上一篇的硬间隔最大化的线性可分SVM相比，多了一个约束条件：$0\le a_i\le C$。

参考博客

统计学习基础