机器学习笔记(支持向量机)

线性分类器

线性分类器是 $n$ 维空间中的分类超平面，它将空间分成两个部分。这个超平面的方程为
$${\mathbf{w}}^{\text{T}}\mathbf{x}+b=0,$$ 其中，$\mathbf{x}$ 是输入向量，$\mathbf{w}$是权重向量，$b$是偏置。

下面以二分类问题为例：
对于一个样本，若满足
$${\mathbf{w}}^{\text{T}}\mathbf{x}+b\ge 0,$$ 则被判定为正样本，反之被判定为负样本。于是，线性分类器的判别函数可以写为
$$\text{sgn}\left({\mathbf{w}}^{\text{T}}\mathbf{x}+b\right).$$

但是，一般情况下，给定一组训练样本可以得到不止一个线性分类器。为了得到泛化性能更好的分类器，我们希望分类平面不应偏向于任何一类，并且离两个类的样本尽可能的远，即最大化分类间隔。

线性可分问题

如果两类样本可以通过一个超平面分开，我们称样本为线性可分的。

原问题

支持向量机的目标是寻找一个分类超平面，满足

1. Condition 1: 正确分类每一个样本。
2. Condition 2: 每一类样本中距离超平面最近的样本到超平面的距离尽可能地远。

假设训练样本集有 $l$ 个样本， 特征向量 ${\mathbf{x}}_i$ 是 $n$ 维向量， y i ∈ { + 1 , − 1 } . y_{i} \in \{ +1, -1\}. yi​∈{+1,−1}.

Condition 1 就可以被描述为
$$\{\begin{array}{l}{\mathbf{w}}^{\text{T}}{\mathbf{x}}_i+b\ge 0,y_i=+1,\\ {\mathbf{w}}^{\text{T}}{\mathbf{x}}_i+b<0,y_i=-1,\end{array}$$
等价地，有
$$y_i\left({\mathbf{w}}^{\text{T}}{\mathbf{x}}_i+b\right)\ge 0.$$

Condition 2 就可以被描述为最大化 $d$,
$$d=\frac{|{\mathbf{w}}^{\text{T}}{\mathbf{x}}_i+b|}{||\mathbf{w}||},$$
其中， $||\mathbf{w}||$ 是 $L_2$ 范数。考虑到在超平面方程中两边同时乘不为零的常数后还是同一个超平面，所以可以加上如下约束
$$\underset{{\mathbf{x}}_i}{\min }|{\mathbf{w}}^{\text{T}}{\mathbf{x}}_i+b|=1.$$

Condition 1 就可以表示为
$$y_i\left({\mathbf{w}}^{\text{T}}{\mathbf{x}}_i+b\right)\ge 1.$$

Condition 2 就是最大化如下的 $d(\mathbf{w},b)$
$$\begin{array}{rl}d(\mathbf{w},b)& =\underset{x_i\cdot y_i=-1}{\min }d(\mathbf{w},b;{\mathbf{x}}_i)+\underset{x_i\cdot y_i=+1}{\min }d(\mathbf{w},b;{\mathbf{x}}_i）\\ & =\frac{2}{||\mathbf{w}||}\end{array}$$

考虑前面定义的约束条件后，求解的优化问题可以写为
$$\{\begin{array}{ll}& \min \frac{1}{2}||\mathbf{w}|{|}^2\\ & y_i\left({\mathbf{w}}^{\text{T}}{\mathbf{x}}_i+b\right)\ge 1\end{array}$$

由于目标函数是一个严格凸函数，所以此优化问题是一个凸优化问题。

对偶问题

考虑到上述凸优化问题带有大量不等式约束，不易求解，可以用拉格朗日对偶转化为对偶问题。首先为上述优化问题构造拉格朗日函数
$$L(\mathbf{w},b,\alpha )=\frac{1}{2}{\mathbf{w}}^{\text{T}}\mathbf{w}-\sum _{i=1}^l{\alpha }_i\left[y_i({\mathbf{w}}^{\text{T}}{x}_i+b)-1\right],$$ 其中 ${\alpha }_i\ge 0.$

接下来，求解此对偶问题，首先把 $\alpha$ 固定， 对其他参数求偏导并令它们为0，即
$$\{\begin{array}{l}\frac{\partial L}{\partial b}=0\\ {\nabla }_{\mathbf{w}}L=0\end{array}$$ 从上面的两个方程中我们可以得到
$$\{\begin{array}{l}{\sum }_{i=1}^l{\alpha }_i{y}_i=0\\ \mathbf{w}={\sum }_{i=1}^l{\alpha }_i{y}_i{\mathbf{x}}_i\end{array}$$
带入拉格朗日函数中消去 $\mathbf{w}$ 和 $b$ 后调整拉格朗日乘子，从而使目标函数取最大值。之后可以等价的转化为最小化目标函数的问题。即
$$\{\begin{array}{ll}& {\min }_{\alpha }\frac{1}{2}{\sum }_{i,j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\text{T}}{\mathbf{x}}_j-{\sum }_{i=1}^l{\alpha }_i\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,l\\ & {\sum }_{i=1}^l{\alpha }_i{y}_i=0\end{array}$$
因此，我们可以求解出 $\alpha$， 进而求出 $\mathbf{w}$ 和 $b.$

线性不可分问题

由于现实应用中的样本一般都不是线性可分的，因此，需要对线性可分的支持向量机进行扩展以便处理线性不可分问题的支持向量机。

原问题

利用松弛变量和惩罚因子，我们可以得到如下最优化问题：
$$\{\begin{array}{ll}& \min \frac{1}{2}{\mathbf{w}}^{\text{T}}\mathbf{w}+C{\sum }_{i=1}^l{\xi }_i\\ & y_i\left({\mathbf{w}}^{\text{T}}{\mathbf{x}}_i+b\right)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0,i=1,2,\dots ,l\end{array}$$
其中， ${\xi }_i$ 是松弛变量，$C>0$ 为惩罚因子，用来表示对违反不等式约束的样本进行惩罚。

由于目标函数的后半部分为线性函数，线性函数为凸函数，而整个目标函数是两个凸函数的线性组合，也为凸函数。所以该优化问题为凸优化问题。

对偶问题

接下来，我们构造对偶问题中的拉格朗日函数
$$L(\mathbf{w},b,\alpha ,\xi ,\beta )=\frac{1}{2}{\mathbf{w}}^{\text{T}}\mathbf{w}+C\sum _{i=1}^l{\xi }_i-\sum _{i=1}^l{\alpha }_i\left[y_i({\mathbf{w}}^{\text{T}}{x}_i+b)-1+{\xi }_i\right]-\sum _{i=1}^l{\beta }_i{\xi }_i,$$
之后，采用标准方法，我们可以得到如下最优化问题
$$\{\begin{array}{ll}& {\min }_{\alpha }\frac{1}{2}{\sum }_{i,j=1}^l{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\text{T}}{\mathbf{x}}_j-{\sum }_{i=1}^l{\alpha }_i\\ & 0\le {\alpha }_i\le C,i=1,2,\cdots ,l\\ & {\sum }_{i=1}^l{\alpha }_i{y}_i=0\end{array}$$
之后便可以用凸优化方法进行求解。

核函数

上述的支持向量机本质都是线性分类器，为了处理非线性问题，我们要引入核映射：如果样本线性不可分，可以将特征向量映射到高维空间，使之在高维空间中是线性可分的。设核映射为$\varphi$, 即
$$\mathbf{z}=\varphi (\mathbf{x}).$$

在对偶问题的计算中，我们会遇到两个向量的内积，在核映射后，内积为
$${\mathbf{z}}_i^{\text{T}}{\mathbf{z}}_j=\varphi ({\mathbf{x}}_i{)}^{\text{T}}\varphi ({\mathbf{x}}_j)$$
直接计算这个映射的效率低，且核映射不太容易构造出来。但是如果映射函数选择的合适，则存在函数 $K$，使得
$$K({\mathbf{x}}_i,{\mathbf{x}}_j)=K({\mathbf{x}}_i^{\text{T}},{\mathbf{x}}_j)=\varphi ({\mathbf{x}}_i{)}^{\text{T}}\varphi ({\mathbf{x}}_j).$$
这样就只需要先对变换前的向量做内积后用函数$K$ 变换来代替先做核映射再做内积。

最后给出常用核函数及其表达式:

核函数	表达式
线性核	$K({\mathbf{x}}_i,{\mathbf{x}}_j)={\mathbf{x}}_i^{\text{T}}{\mathbf{x}}_j$
多项式核	$K({\mathbf{x}}_i,{\mathbf{x}}_j)={\left(\gamma {\mathbf{x}}_i^{\text{T}}{\mathbf{x}}_j+b\right)}^d$
高斯核	$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\exp \left(-\gamma \Vert {\mathbf{x}}_i-{\mathbf{x}}_j{\Vert }^2\right)$
sigmoid 核	$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\tanh \left(\gamma {\mathbf{x}}_i^{\text{T}}{\mathbf{x}}_j+b\right)$