七、 支持向量机（Support Vector Machine, SVM）

支持向量机（Support Vector Machine, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；当把核引入到SVM中后，它就成为了非线性分类器。

SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。

1 线性分类器

给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x m , y m ) } , y i ∈ { − 1 , + 1 } D=\{({\bf x}_1,y_1),({\bf x}_2,y_2),\cdots,({\bf x}_m,y_m)\},y_i \in \{ -1, +1\} D={ (x1​,y1​),(x2​,y2​),⋯,(xm​,ym​)},yi​∈{ −1,+1}，分类学习最基本的想法就是基于训练集 $D$ 在样本空间中找到一个划分平面，将不同类别的样本分开。在样本空间中，用如下的线性方程来描述划分超平面：

$${\mathbf{w}}^T\mathbf{x}+b=0$$

其中，$\mathbf{w}=(w_1;w_2;\cdots ;w_d)$ 为法向量，决定了超平面的方向；$b$ 为位移量，决定了超平面与原点之间的距离。划分平面可被法向量 $\mathbf{w}$ 和位移 $b$ 确定，就将该平面记为 $(\mathbf{w},b)$，样本空间中任意点 $\mathbf{x}$ 到超平面 $(w,b)$ 的距离可以写为：

$$r=\frac{|{\mathbf{w}}^T\mathbf{x}+b|}{||\mathbf{w}||}$$

我们知道，对于平面 $(\mathbf{w},b)$，同比例变化 $\mathbf{w}$ 和 $b$ 时该平面不变，因此，我们可以找到一组 $(\mathbf{w},b)$ 使得距离该平面最近的样本点（即支持向量）满足 $|{\mathbf{w}}^T{\mathbf{x}}_i+b|=1$（目的：为了求解时计算方便）。

假设超平面 $(\mathbf{w},b)$ 能将训练样本正确分类，令 $f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$，对于 $({\mathbf{x}}_i,y_i)\in D$，有：

$$\{\begin{array}{ll}{\mathbf{w}}^T{\mathbf{x}}_i+b\ge +1& y_i=+1\\ {\mathbf{w}}^T{\mathbf{x}}_i+b\le -1& y_i=-1\end{array}$$

如下图所示，距离超平面最近的几个训练样本点使上式成立，它们称为“支持向量”（support vector），两个异类支持向量到超平面的距离之和为：

$$\gamma =\frac{2}{||\mathbf{w}||}$$

它被称为 “间隔”（margin）

如果想要找到具有“最大间隔”（maximum margin）的划分超平面，也就是要找到使得 $\gamma$ 最大的、能满足的条件约束的参数 $\mathbf{w}$ 和 $b$：

$$\begin{array}{rl}\underset{\mathbf{w},b}{\max }& \frac{2}{||\mathbf{w}||}\\ s.t& y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,\cdots ,m\end{array}$$

显然，为了最大化间隔，仅需最大化 $||\mathbf{w}|{|}^{-1}$，这就等价于最小化 $||\mathbf{w}|{|}^2$，于是，该目标可以重写为：

$$\begin{array}{rl}\underset{\mathbf{w},b}{\min }& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ s.t& y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,\cdots ,m\end{array}$$

2 对偶问题

目标函数本身是一个凸二次规划（Convex Quadratic Programming）问题，利用拉格朗日乘子法可得到其“对偶问题”（dual problem），对每条约束添加拉格朗日乘子 ${\alpha }_i\ge 0$，则该问题的拉格朗日函数可写作：

$$L(\mathbf{w},b,\alpha )=$$