统计学习方法——支持向量机（二）

支持向量机（二）

前面我们介绍了对于线性可分数据的线性可分支持向量机以及硬间隔最大化，下来我们来看写对于线性不可分数据集的线性支持向量机与软间隔最大化。

线性支持向量机

线性可分问题的支持向量机学习方法对于线性不可分训练数据无疑是不适用的，通常情况，将训练集中的奇异点去除，就会重新变为线性可分的。

为了解决线性不可分问题，为每个样本点$\left(x_i,y_i\right)$引入一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于$1$。约束条件变为：
$$y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i$$
同时对每个松弛变量${\xi }_i$支付一个代价函数，则目标函数变为：
$$\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i$$
其中$C>0$为惩罚参数。

• 线性不可分的线性支持向量机（软间隔最大化）
  $$\underset{w,b,\xi }{\min }\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i$$
  $$s.t.y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i,i=1,2,\cdots ,N$$
  $${\xi }_i\ge 0,i=1,2,\cdots ,N$$
• 线性支持向量机
  对于给定的线性不可分的训练数据集，通过求解凸二次规划问题，即软间隔最大化问题，得到的分离超平面为：
  $$w^{\ast }\cdot x+b^{\ast }=0$$
  以及相应的分类决策函数：
  $$f\left(x\right)=sign\left(w^{\ast }\cdot x+b^{\ast }\right)$$
  称为线性支持向量机。

学习的对偶算法

同样引入拉格朗日定理。

• 引入拉格朗日算子后的函数为：
  $$L\left(w,b,\xi ,\alpha ,\mu \right)=\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i\left(y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
  其中${\alpha }_i\ge 0,{\mu }_i\ge 0$。
• 求解$\underset{w,b,\xi }{\min }L\left(w,b,\xi ,\alpha ,\mu \right)$
  $$\underset{w,b,\xi }{\min }L\left(w,b,\xi ,\alpha ,\mu \right)=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i$$
• 再求解$\underset{w,b,\xi }{\min }L\left(w,b,\xi ,\alpha ,\mu \right)$对于$\alpha$的极大值，即得对偶问题：
  $$\underset{\alpha }{\max -}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^N{\alpha }_i$$
  $$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
  $$C-{\alpha }_i-{\mu }_i=0$$
  $${\alpha }_i\ge 0$$
  $${\mu }_i\ge 0,i=1,2,\cdots ,N$$
• 求解方式：$w^{\ast },b^{\ast }$与线性可分支持向量相同

支持向量

• 上面对偶问题得解${\alpha }^{\ast }={\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }\right)}^T$中对应于${\alpha }_i^{\ast }>0$的样本点$\left(x_i,y_i\right)$的实例$x_i$称为支持向量。
• 实例$x_i$到间隔边界的距离为$\frac{{\xi }_i}{\Vert w\Vert }$。
• 四种情况
  • ${\alpha }_i^{\ast }<C$，则${\xi }_i=0$，支持向量$x_i$恰好落在间隔边界上
  • ${\alpha }_i^{\ast }=C$，$0<{\xi }_i<1$，则分类正确，$x_i$在间隔边界与分离超平面之间
  • ${\alpha }_i^{\ast }=C$，${\xi }_i=1$，则$x_i$在分离超平面上
  • ${\alpha }_i^{\ast }=C$，${\xi }_i>1$，则$x_i$位于分离超平面误分一侧

合页损失函数

线性支持向量机学习的另一种解释：

$$\underset{w,b,\xi }{\min }\frac{1}{2}{\Vert w\Vert }^2+C\sum _{i=1}^N{\xi }_i$$
$$s.t.y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i,i=1,2,\cdots ,N$$
$${\xi }_i\ge 0,i=1,2,\cdots ,N$$

等价于最小化目标函数：
$$\sum _{i=1}^N{\left[1-y_i\left(w\cdot x_i+b\right)\right]}_{+}+\lambda {\Vert w\Vert }^2$$
目标函数的第一项为经验损失或经验风险，函数
$$L\left(y_i\left(w\cdot x_i+b\right)\right)={\left[1-y_i\left(w\cdot x_i+b\right)\right]}_{+}$$
称为合页损失函数，下标“+”表示：
$${\left[z\right]}_{+}=\{\begin{array}{l}z,z>0\\ 0,z\le 0\end{array}$$

参考文献

《统计学习方法》