ML模型4-1：SVM之线性可分支持向量机

SVM总述

分类：硬间隔SVM（线性可分SVM）、软间隔SVM 和 核技巧 SVM。

SVM是一个二分类的分类模型。
SVM的学习目标 - 在特征空间中找到一个分类超平面$w^{T}x+b=0$，使正例和反例之间的间隔最大（所有点中离超平面最近的点具有最大间距），这样能有较好的泛化能力。

本文主要介绍线性可分SVM。

线性可分SVM

1. 问题引入

分类学习的基本思想 - 基于训练集在样本空间找到一个分类超平面，将不同类别样本分开。

从下图可以看出：存在多个分类超平面将训练样本分开。

那么我们需要思考：这么多的分类超平面，哪个是最好的呢？或者说哪个泛化能力最强呢?

在解决这个问题之前，我们先介绍几个术语：函数间隔、几何间隔和支持向量。

2. 基本概念

2.1 函数间隔

样本空间中，分类超平面定义为$$w^{T}x+b=0$$

样本空间中任意点x到超平面距离为$$d=\frac{\left|w^{T}x+b\right|}{\Vert w\Vert }$$
则在超平面确定的情况下，$\left|w^{T}x+b\right|$ 表示点x和超平面的相对距离；$w^{T}x+b$和 $y$ 是否同号，可以表征分类是否正确。综上我们用函数间隔表征分类的正确性及确信度。

$$\hat{\gamma }=y\left(w^{T}x+b\right)$$

上式表示超平面关于样本点$(x,y)$的函数间隔。而分类超平面关于整个训练集的函数间隔，定义为超平面关于所有样本点$\left(x_i,y_i\right)$的函数间隔的最小值。

2.2 几何间隔

但是选择分类超平面，只有函数间隔还不够。因为当成比例地改变 $w$ 和 $b$ 时，虽然超平面没有改变，但函数间隔却发生了改变。

例如，$2x+2b=0$ 和 $x+b=0$表示的就是同一个超平面 [注意 -此处$x$可以是多维矩阵]

所以，此处对超平面的法向量 $w$ 施加约束，如规范化 $\Vert w\Vert =1$，使间隔确定化，此时称为几何间隔。
$$\gamma =\frac{\hat{\gamma }}{\Vert w\Vert }=\frac{y\left(w^{T}x+b\right)}{\Vert w\Vert }$$
下述距离均指几何间隔。

2.3 支持向量

通常距离超平面比较远的点，已经被正确分类；反而我们更关心距离超平面比较近的点，这些点更容易被误分类。因此我们让距离超平面比较近的点尽可能远离超平面，这样泛化性能会更好。

距离超平面最近的几个样本点满足 $y_i\left(w^T{x}_i+b\right)=1$（证明可参见第3节及Q1），这些点被称为支持向量，如下图虚线上的点所示。

3. 模型描述 - 间隔最大化

SVM的核心问题：如何求得一个使几何间隔最大的分类超平面？
$$\underset{w,b}{\max }\gamma$$$$s.t.\frac{y_i\left(w^T{x}_i+b\right)}{\Vert w\Vert }\ge \gamma ,i=1,2...m$$

此处，约束条件表示 $\gamma$ 是距离超平面最近点的间隔。

考虑函数间隔和几何间隔的关系，可将其改写为：
$$\underset{w,b}{\max }\frac{\hat{\gamma }}{\Vert w\Vert }$$$$s.t.y_i\left(w^T{x}_i+b\right)\ge \hat{\gamma },i=1,2....m$$

上式中函数间隔$\hat{\gamma }$的取值并不影响最优化问题的解，所以我们不妨取 $\hat{\gamma }=1$。（Q1. 为什么函数间隔的取值不影响最优化问题的解？）

下面得到线性可分SVM学习的最优化问题：
$$\underset{w,b}{\max }\frac{1}{\Vert w\Vert }\iff \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2$$

$$s.t.y_i\left(w^T{x}_i+b\right)\ge 1,i=1,2...m$$

4. 模型求解

SVM的最优化问题是一个凸二次规划问题，可以利用拉格朗日对偶性将约束条件融入目标函数中，然后对其对偶函数进行求解。（Q2. 转换成对偶函数有什么好处？）
1）优化目标为：
$$\underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2$$

$$s.t.y_i\left(w^T{x}_i+b\right)\ge 1,i=1,2...m$$

2）构造拉格朗日函数 - 引入拉格朗日乘子${\alpha }_i\ge 0$：
$$L\left(w,b,\alpha \right)=\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^m{\alpha }_i\left(y_i\left(w^T{x}_i+b\right)-1\right),{\alpha }_i\ge 0$$

3）原始问题转换成对偶问题求解：
$$\underset{w,b}{\min }\underset{\alpha }{\max }L\left(w,b,\alpha \right)\iff \underset{\alpha }{\max }\underset{w,b}{\min }L\left(w,b,\alpha \right)$$

4）对偶问题求解：
4.1） - 先求优化函数对于w和b的极小值，求偏导：
$$\begin{array}{rl}\frac{\partial L}{\partial w}& =w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\\ \frac{\partial L}{\partial b}& =\sum _{i=1}^m{\alpha }_i{y}_i=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}$$

将其代回优化函数$L\left(w,b,\alpha \right)$，消去 $w$:
$$\begin{array}{rl}L\left(w,b,\alpha \right)& =\frac{1}{2}{\Vert w\Vert }^2-\sum _{i=1}^m{\alpha }_i\left(y_i\left(w^T{x}_i+b\right)-1\right)\\ & =\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{\left(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\right)}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x_i}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j+\sum _{i=1}^m{\alpha }_i\end{array}$$

即
$$\underset{w,b}{\min }L\left(w,b,\alpha \right)=-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j+\sum _{i=1}^m{\alpha }_i$$

4.2） -下式再对拉格朗日乘子 $\alpha$ 求极大值：
$$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j+\sum _{i=1}^m{\alpha }_i$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2...m$$

可以去掉负号，即为等价的极小化问题如下：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j-\sum _{i=1}^m{\alpha }_i$$

$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2...m$$

4.3） - 一般用SMO算法对 $\alpha$求极小

5）由对偶问题的解求原始问题的解。
5.1） - 假设已通过SMO算法得到对偶最优化问题的解 ${\alpha }^{\ast }$。则根据4.1）小节，可得：
$$w^{\ast }=\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_i{x}_i$$

5.2） - 对于任意支持向量 $\left(x_s,y_s\right)$，有
$$y_s\left(w^T{x}_s+b\right)=1\Rightarrow w^T{x}_s+b=y_s\Rightarrow b=y_s-w^T{x}_s$$

即
$$\begin{array}{rl}{b}^{\ast }& =y_s-w^T{x}_s\\ & =y_s-\sum _{i=1}^m{{\alpha }_i}^{\ast }{y}_i{x_i}^T{x}_s\end{array}$$

理论上每个支持向量求得的 $b^{\ast }$ 都可以作为最终结果，但为了增强算法的健壮性，一般对所有支持向量所求得的 $b^{\ast }$ 取平均作为最终结果（软间隔情况）。（对于严格线性可分的SVM， 求得的$b^{\ast }$ 都是相同的）

5. 拓展 - 其他知识点

软间隔SVM，松弛变量
非线性分类问题 - 核函数
SMO序列最小最优化算法

Q&A

Q1. 为什么函数间隔的取值不影响最优化问题的解？

我们知道，当成比例地改变 $w$ 和 $b$ 时，超平面并没有改变：$$\lambda w^{T}x+\lambda b=0\iff w^{T}x+b=0$$

假设将 $w$ 和 $b$ 按比例地改变为 $\lambda w$ 和 $\lambda b$ ，则函数间隔为 $\lambda \hat{\gamma }$，最优化问题如下：

$$\underset{w,b}{\max }\frac{\lambda \hat{\gamma }}{\Vert \lambda w\Vert }=\frac{\hat{\gamma }}{\Vert w\Vert }$$$$s.t.y_i\left(\lambda w^T{x}_i+\lambda b\right)\ge \lambda \hat{\gamma }\iff y_i\left(w^T{x}_i+b\right)\ge \hat{\gamma },i=1,2...N$$

也就是说成比例的改变函数间隔 $\hat{\gamma }$ 的取值（成比例地改变 $w$ 和 $b$ - 不会影响待求的超平面），没有改变最优化问题。

Q2. 转换成对偶函数有什么好处？

对偶问题更容易求解，更高效；
对偶问题求解时，引入了核函数，进而推广到非线性分类问题。

Ref

机器学习-白板推导系列-支持向量机SVM（Support Vector Machine）