【机器学习】SVM推导

1.相关知识

1.1感知机

感知机由 Rosenlatt 在 1957 年提出，它用来模拟神经细胞的动作和行为。单个神经元细胞可以被视为两种状态：激活为”是”，未激活为“否”。
其学习机是如下函数：
$$f(x)=\text{sign}({\mathbf{w}}^T\mathbf{x})$$

然而，感知机所得到的最终的超平面不一定是唯一的，这往往依赖于其初值和迭代次序的设置，从本质上来讲是因为，感知机仅仅寻求将数据完全正确划分的超平面，而不考虑其他的准则。此外，感知机算法只能处理线性可分的数据，对于线性不可分的问题，算法会反复跌宕无法收敛到准确解。

支持向量机算法的提出，对这两个问题进行了解决。Cortes 与 Vapnik 提出线性支持向量机，通过最大化硬间隔的方式解决最终平面不唯一的问题。而 Boser、Guyon 与 Vapnik通过引入核技巧，提出了非线性的支持向量机，来处理非线性可分数据。

1.2 对偶理论

对于一个约束优化问题
$$\begin{array}{rl}\underset{x}{\min }& f(x)\\ \text{s.t.}& g(x)\le 0\\ & h(x)=0\end{array}$$

其对应的拉格朗日函数为：
$$\mathcal{L}(x,\alpha ,\beta )=f(x)+\alpha g(x)+\beta h(x),\alpha \ge 0$$

容易验证：
$$\underset{\alpha \ge 0,\beta }{\max }\mathcal{L}(x,\alpha ,\beta )=\{\begin{array}{c}f(x),x\in D\\ +\infty ,x\notin D\end{array}$$其中 D = { x : g ( x ) ≤ 0 , h ( x ) = 0 } D=\left \{x:g(x)\le0, h(x)=0\right\} D={x:g(x)≤0,h(x)=0}是问题的可行域。

于是原约束优化问题等价于：
$$\underset{x}{\min }\underset{\alpha \ge 0,\beta }{\max }\mathcal{L}(x,\alpha ,\beta )$$

对偶问题是指，交换式中极大和极小的位置，即：$$\underset{x}{\max }\underset{\alpha \ge 0,\beta }{\min }\mathcal{L}(x,\alpha ,\beta )$$

弱对偶总成立：
$$\underset{x}{\max }\underset{\alpha \ge 0,\beta }{\min }\mathcal{L}(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha \ge 0,\beta }{\max }\mathcal{L}(x,\alpha ,\beta )$$

强对偶是指上不等式取等号，即：
$$\underset{x}{\max }\underset{\alpha \ge 0,\beta }{\min }\mathcal{L}(x,\alpha ,\beta )=\underset{x}{\min }\underset{\alpha \ge 0,\beta }{\max }\mathcal{L}(x,\alpha ,\beta )$$

强对偶的成立需要满足KKT条件：
$$\begin{array}{rl}\nabla \mathcal{L}(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })& =0\\ {\alpha }^{\ast }& \ge 0\\ g(x^{\ast })& \le 0\\ h(x^{\ast })& =0\\ {\alpha }^{\ast }g(x^{\ast })& =0\end{array}$$
特别地，对于凸优化问题，KKT条件总成立，这也为求解支持向量机提供了理论支撑。

2.线性支持向量机

在感知机中，同样是寻找超平面将数据进行分离，然而这样的超平面往往是不唯一的。
如下图，哪个分类超平面是最好的？
从直觉上来讲，黑色的超平面是最好的。因为蓝色超平面对于左侧的一个正类样本分类容易分错，而红色的超平面对于右侧的一个负分类样本容易分错。

那如何度量分类器的好坏？支持向量机提出了最大间隔的思想（Large Margin）。

2.1最大间隔

空间中的超平面方程可以表示为：
$${\mathbf{w}}^T\mathbf{x}+b=0$$
若超平面能够将训练样本$({\mathbf{x}}_i,y_i)$分类正确，即：若$y_i=+1$有${\mathbf{w}}^T\mathbf{x}+b>0$；若$y_i=-1$有${\mathbf{w}}^T\mathbf{x}+b<0$. 令
$$\begin{gathered} {\mathbf{w}}^T\mathbf{x}+b\ge 1,y_i=+1; \\ {\mathbf{w}}^T\mathbf{x}+b\le 1,y_i=-1. \end{gathered}$$
上式总能成立，是由于对一个超平面$(\mathbf{w},b)$，将其进行缩放，所对应的超平面不改变。

于是就得到了空间中三个平面，最大间隔定义为两个支撑平面之间的距离，也即：
$$\frac{2}{||\mathbf{w}||}$$

支持向量机的思想就是最大化间隔（Large Margin），即
$$\begin{array}{rl}\underset{\mathbf{w},b}{\max }& \frac{2}{||\mathbf{w}||}\\ \text{s.t.}& y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1\end{array}$$
问题等价于
$$\begin{array}{rl}\underset{\mathbf{w},b}{\min }& \frac{1}{2}{\mathbf{w}}^T\mathbf{w}\\ \text{s.t.}& y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1\end{array}$$这个问题是标准的二次规划问题，其对应的拉格朗日函数为：
$$\mathcal{L}(\mathbf{w},b,\alpha )=\frac{1}{2}{\mathbf{w}}^T\mathbf{w}-\sum _i{\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1]$$由KKT条件可得
$$\begin{array}{rl}\frac{\partial \mathcal{L}}{\partial \mathbf{w}}=0& \Rightarrow \mathbf{w}=\sum _i{\alpha }_i{y}_i{\mathbf{x}}_i\\ \frac{\partial \mathcal{L}}{\partial b}=0& \Rightarrow \sum _i{\alpha }_i{y}_i=0\end{array}$$带入到拉格朗日函数中，可以得到对偶问题为：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _i{\alpha }_i-\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i{\mathbf{x}}_j\\ \text{s.t.}& \sum _i{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0\end{array}$$对偶问题同样是二次规划问题。假设对偶问题最优解为${\alpha }^{\ast }$，则原始问题的最优解${\mathbf{w}}^{\ast }、b^{\ast }$为：
$$\begin{gathered} {\mathbf{w}}^{\ast }=\sum _i{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i \\ b=y_k-{\mathbf{w}}^{\ast }\cdot {\mathbf{x}}_{\mathbf{k}} \end{gathered}$$这里$k$是满足${\alpha }_k^{\ast }>0$的任意一个取值。

根据KKT条件，我们知道${\alpha }_i^{\ast }[y_i({\mathbf{w}}^{\ast }\cdot {\mathbf{x}}_{\mathbf{i}}+b)-1]\ge 0$成立。若${\alpha }_i^{\ast }>0$，则必有$y_i({\mathbf{w}}^{\ast }\cdot {\mathbf{x}}_{\mathbf{i}}+b)=1$，即${\mathbf{x}}^{\ast }$是支撑向量；若${\alpha }_i^{\ast }=0$，则${\mathbf{x}}^{\ast }$不是支撑向量。

换言之，${\mathbf{w}}^{\ast }={\sum }_i{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i$，意味着最终的分类平面的法向量，可以由有限个支撑向量加权组合表示，支撑向量的数量不超过$m+1$个（$m$是数据的维度）。

2.2软间隔和正则化

上文所有的讨论，都是在一个前提下：数据是线性可分的，支持向量机总能够找到一个唯一的超平面将正负样本完全划分开。然而当数据线性不可分时。
一个解决的方法是容忍一些分类错误的样本，为此引入变量${\xi }_i$，并且构造如下的优化问题：
$$\begin{array}{rl}\underset{\mathbf{w},b}{\min }& \frac{1}{2}{\mathbf{w}}^T\mathbf{w}+C\sum _i^n{\xi }_i\\ \text{s.t.}& y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0\end{array}$$
同样地，我们能够得到其对偶问题：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _i{\alpha }_i-\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i{\mathbf{x}}_j\\ \text{s.t.}& \sum _i{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C\end{array}$$
可以看到同2.1中的唯一的差别是，对偶变量约束的不同，一个是$0\le {\alpha }_i\le C$，一个是$\alpha \ge 0$.
类似地我们也能够求得原问题的最优解${\mathbf{w}}^{\ast },b^{\ast }$.

2.3核技巧

在实际的工作中，即使用2.2中的方法容许某些分类错误的样本，也很难找到一个好的平面将数据分开。

自然而然的想法是，通过一个映射$\varphi (x)$将非线性的数据从原始空间映射到一个更高维的空间，使得其在高维空间中线性可分。然而直接取寻找这样的映射通常是很困难的，因为特征空间的维数可能很高甚至无穷维。

但是，注意到在2.1和2.2构造对偶问题求解的过程中，数据点$\mathbf{x}$总是以内积${\mathbf{x}}^T\mathbf{x}$的形式出现。因此，我们无需构造$\varphi (\mathbf{x})$，只要设想这样一个二元函数：
$$K({\mathbf{x}}_i,{\mathbf{x}}_j)=⟨\varphi ({\mathbf{x}}_i),\varphi ({\mathbf{x}}_j)⟩=\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_j)$$

这样的函数就是核函数。

引入核函数后，优化问题可描述成：
$$\begin{array}{rl}\underset{\alpha }{\max }& \sum _i{\alpha }_i-\frac{1}{2}\sum _i\sum _j{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_i,{\mathbf{x}}_j)\\ \text{s.t.}& \sum _i{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C\end{array}$$
通过核函数，我们隐式地定义了一个映射，将数据映射到一个高维空间。但是，我们不知道这个特征空间是否合适。因此和函数的选择很大程度上决定了分类器的性能。

下表列出了常用的核函数：

核函数	表达式
线性核	$K({\mathbf{x}}_i,{\mathbf{x}}_j)={\mathbf{x}}_i^T{\mathbf{x}}_j$
多项式核	$K({\mathbf{x}}_i,{\mathbf{x}}_j)=({\mathbf{x}}_i^T{\mathbf{x}}_j{)}^d$
高斯核	$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\exp (-\frac{1}{2{\sigma }^2}\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert )$
Sigmoid核	$K({\mathbf{x}}_i,{\mathbf{x}}_j)=\tanh (\beta {\mathbf{x}}_i^T{\mathbf{x}}_j+\theta )$

3.代码和试验

项目	Value
电脑	$1600
手机	$12
导管	$1