[监督学习]支持向量机

支持向量机是监督学习中最有影响力的方法之一。类似于逻辑回归，这个模型也是基于线性函数 $w\top x+b$ 的。不同于逻辑回归的是，支持向量机不输出概率，只输出类别。当 $w\top x+b$ 为正时，支持向量机预测属于正类。类似地，当 $w\top x+b$ 为负时，支持向量机预测属于负类。

在机器学习中，SVM首次实现了经验风险和结构风险的结合作为优化准则，从而使得学习到的模型具有更好的鲁棒性。接下来我们以线性可分的二值分类问题为背景进行SVD原理的介绍，假设有 $N$ 个样本，其特征是2维的，其标签情况显示如下图，而我们SVM的最终目的就是求出一条分割线（在高维空间中称之为超平面）能够完成分类任务。

从经验风险的角度来看，如果只需要满足分类的正确率的要求，该问题的分割线是存在无数条的；可是我们还有更高的要求，我们希望找到其中最优的那条分割线，也就是说具有更好的鲁棒性，即使有一定噪声存在，也能够更好地区分样本的类别，就是所谓的结构风险最小。这种想法反映到上图中，就是寻找那条红线，它不仅需要满足分类正确的要求，还必须是所有分割线中margin最大的那一个，这里的margin就是指各类样本距离分割线的最小距离的和，即为图中两条蓝色虚线之间的距离 ，我们不妨设红色分割线距离各个类别样本的最短距离相等并记为 $d$ 。

我们设待求的分割线为 ${\mathbf{w}}^T\mathbf{x}+b=0$ ，则两侧虚线的表达式分别为 ${\mathbf{w}}^T\mathbf{x}+b=-1,{\mathbf{w}}^T\mathbf{x}+b=+1$ 。

假设蓝色虚线的表达式为 ${\mathbf{w}}^T\mathbf{x}+b=c$ ，我们对等式两边同时除以 $c$ ，则有 $\frac{{\mathbf{w}}^T}{c}\mathbf{x}+\frac{b}{c}=1$ ，同时对于红色分割线也可以作此处理，有 $\frac{{\mathbf{w}}^T}{c}\mathbf{x}+\frac{b}{c}=0$ ，若令 $\mathbf{w}=\frac{{\mathbf{w}}^T}{c},b=\frac{b}{c}$ ,则有上述结果。这就是分割线参数的缩放处理。

从而有分割线的margin数学表示 $D=2d=\frac{2}{||\mathbf{w}||}$ ，也就有了我们的优化目标：
$$\max \frac{2}{||\mathbf{w}||}$$
那么如何保证样本的分类正确呢？我们可以观察到：当样本为正样例 $y_i=+1$ 时，有 ${\mathbf{w}}^T{\mathbf{x}}_i+b\ge +1$ ；当样本为负样例 $y_i=-1$ 时，有 ${\mathbf{w}}^T{\mathbf{x}}_i+b\le -1$ 。将这两个限制条件归结为一个条件表示则为
$${\mathbf{y}}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$$
因此，将SVM转化为一个不等式约束的优化问题
$$\{\begin{array}{rl}& \underset{\mathbf{w}}{\min }\frac{1}{2}||\mathbf{w}|{|}^2\\ & st.{\mathbf{y}}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,\cdots ,N\end{array}$$

简单例子

解答：

i. 如图所示

ii. $H_2:{\mathbf{w}}^T\mathbf{x}+b=-1$

iii. 当样本的标签为 $y_i=-1$ 时，有 ${\mathbf{w}}^T{\mathbf{x}}_i+b\le -1$ ；当样本的标签为 $y_i=+1$ 时，有 ${\mathbf{w}}^T{\mathbf{x}}_i+b\ge +1$ ，经过总结规律从而有 y i ( w T x i + b ) ≥ 1 , ∀ i ∈ { 1 , 2 , ⋯   , N } y_i(\boldsymbol{w}^T \boldsymbol{x}_i + b) \ge 1, \forall i \in\{1,2,\cdots,N\} yi​(wTxi​+b)≥1,∀i∈{1,2,⋯,N} 。

iv. 训练数据本身是线性可分的，且不含有噪声。

v. 已知 $H_1:{\mathbf{w}}^T\mathbf{x}+b=1,H_2:{\mathbf{w}}^T\mathbf{x}+b=-1$ ，由求平行直线的距离公式知
$$D=\frac{2}{||\mathbf{w}|{|}^2}$$
vi. 优化问题的表达式为
$$\{\begin{array}{rl}& \min \frac{1}{2}||\mathbf{w}|{|}^2\\ & st.{\mathbf{y}}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,\cdots ,N\end{array}$$
vii. 在这种情况下，具体的优化公式为
$$\{\begin{array}{rl}& \min \frac{1}{2}(w_1^2+w_2^2+w_3^2)\\ & w_1+2w_2+3w_3+b\ge 1\\ & 4w_1+w_2+2w_3+b\ge 1\\ & w_1-2w_2+w_3-b\ge 1\end{array}$$
从而有拉格朗日函数
$$\begin{array}{rl}L(\mathbf{w},b)& =\frac{1}{2}(w_1^2+w_2^2+w_3^2)-{\lambda }_1(w_1+2w_2+3w_3+b-1)\\ & -{\lambda }_2(4w_1+w_2+2w_3+b-1)-{\lambda }_3(w_1-2w_2+w_3-b-1)\end{array}$$
其KKT条件为
$$\{\begin{array}{rl}& \frac{\partial L}{\partial w_1}=w_1-{\lambda }_1-4{\lambda }_2-{\lambda }_3=0\\ & \frac{\partial L}{\partial w_2}=w_2-2{\lambda }_1-{\lambda }_2+2{\lambda }_3=0\\ & \frac{\partial L}{\partial w_3}=w_3-3{\lambda }_1-2{\lambda }_2-{\lambda }_3=0\\ & \frac{\partial L}{\partial b}=-{\lambda }_1-{\lambda }_2+{\lambda }_3=0\\ & {\lambda }_1(w_1+2w_2+3w_3+b-1)=0\\ & {\lambda }_2(4w_1+w_2+2w_3+b-1)=0\\ & {\lambda }_3(w_1-2w_2+w_3+b-1)=0\\ & {\lambda }_1\ge 0\\ & {\lambda }_2\ge 0\\ & {\lambda }_3\ge 0\end{array}$$
解出
{ λ 1 = 0.1 λ 2 = 0 λ 3 = 0.1 w 1 = 0.2 w 2 = 0 w 3 = 0.4 b = − 0.4 \left\{ \begin{aligned} & \lambda_1 = 0.1 \\ & \lambda_2 = 0 \\ & \lambda_3 = 0.1\\ & w_1 = 0.2 \\ & w_2 = 0 \\ & w_3 = 0.4\\ & b = -0.4 \end{aligned} \right. ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧​​λ1​=0.1λ2​=0λ3​=0.1w1​=0.2w2​=0w3​=0.4b=−0.4​

拉格朗日对偶问题

从上一节的简单例子中，我们可以通过KKT条件求解SVM的问题，但是当样本数目特别多时，这种求解方法就明显力不从心了。因此需要寻找一种更简便的方法，而拉格朗日对偶问题是求解SVM的一种有效的方式。

原始问题

假设 $f(x),c_i(x),h_j(x)$ 是定义在 ${\mathbb{R}}^n$ 上的连续可微函数，考虑约束最小化问题
$$\{\begin{array}{rl}& \underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }f(\mathbf{x})\\ s.t.& c_i(\mathbf{x})\le 0,i=1,2,\cdots ,k\\ & h_j(\mathbf{x})=0,j=1,2,\cdots ,l\end{array}$$
称此约束优化问题为原始问题。

首先，引入广义拉格朗日函数
$$L(x,\mathbf{\alpha },\mathbf{\beta })=f(\mathbf{x})+\sum _{i=1}^k{\alpha }_i{c}_i(\mathbf{x})+\sum _{j=1}^l{\beta }_i{h}_i(\mathbf{x})$$
这里的 $\mathbf{x}=[x_1,x_2,\cdots ,x_n{]}^T\in {\mathbb{R}}^n$ ，${\alpha }_i,{\beta }_i$ 是拉格朗日乘子，${\alpha }_i\ge 0$ ，考虑 $\mathbf{x}$ 的函数：
$${\mathbf{\theta }}_p(\mathbf{x})=\underset{\mathbf{\alpha },\beta ,{\alpha }_i\ge 0}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })$$
这里的下标 $p$ 表示原始问题。针对 $\mathbf{x}$ ，可以分为两种情况分别考虑。

1. 假设给定某个 $\mathbf{x}$ ，如果 $\mathbf{x}$ 违反原始问题的约束条件，也就是某个 $i$ 使得 $c_i(\mathbf{x})>0$ 或者存在某个 $j$ 使得 $h_j(\mathbf{x})\ne 0$ ，那么就有

$${\mathbf{\theta }}_p(\mathbf{x})=\underset{\mathbf{\alpha },\beta ,{\alpha }_i\ge 0}{\max }f(\mathbf{x})+\sum _{i=1}^k{\alpha }_i{c}_i(\mathbf{x})+\sum _{j=1}^l{\beta }_j{h}_j(\mathbf{x})=+\infty$$

上式是怎么来的呢？因为若某个 $i$ 使得 $c_i(\mathbf{x})>0$ ,这个时候为求得最大值，不妨设 ${\alpha }_i\to +\infty$ ，其余参数不管怎样，都会有 ${\mathbf{\theta }}_p(\mathbf{x})\to +\infty$ ；如若存在某个 $j$ 使得 $h_j(\mathbf{x})\ne 0$ ，为求得最大值，我们不妨令 ${\beta }_j{h}_j(\mathbf{x})\to +\infty$ ，同样不管其他参数如何，都会有 ${\mathbf{\theta }}_p(\mathbf{x})\to +\infty$ 。

2. 假设给定某个 $\mathbf{x}$ ，如果 $\mathbf{x}$ 满足原始问题的约束条件，则有
   $${\mathbf{\theta }}_p(\mathbf{x})=\underset{\mathbf{\alpha },\beta ,{\alpha }_i\ge 0}{\max }f(\mathbf{x})+\sum _{i=1}^k{\alpha }_i{c}_i(\mathbf{x})+\sum _{j=1}^l{\beta }_j{h}_j(\mathbf{x})=f(\mathbf{x})$$
   因此，可以总结为
   $${\mathbf{\theta }}_p(\mathbf{x})=\{\begin{array}{rlr}& f(\mathbf{x}),& \mathbf{x}满足原始问题约束\\ & +\infty ,& 其他\end{array}$$
   这时，我们发现极小化问题
   $$\underset{\mathbf{x}}{\min }{\mathbf{\theta }}_p(\mathbf{x})=\underset{\mathbf{x}}{\min }\underset{\mathbf{\alpha },\beta ,{\alpha }_i\ge 0}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })$$
   和原始问题的优化是等价的，它们是有相同的解的。

对偶问题

我们直接给出结论：

在满足 $f(x),c_i(x),h_j(x)$ 都是凸函数的条件下
$$\underset{\mathbf{x}}{\min }\underset{\mathbf{\alpha },\beta ,{\alpha }_i\ge 0}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })=\underset{\mathbf{\alpha },\beta ,{\alpha }_i\ge 0}{\max }\underset{\mathbf{x}}{\min }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })$$
回到SVM的优化问题，并将其转化为对偶问题。
$$\begin{gathered} \{\begin{array}{rl}& \underset{\mathbf{w}}{\min }\frac{1}{2}||\mathbf{w}|{|}^2\\ & st.{\mathbf{y}}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,\cdots ,N\end{array} \\ L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}{\mathbf{w}}^2+\sum _{i=1}^N{\alpha }_i[1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)] \end{gathered}$$
原始问题：$\underset{\mathbf{w},b}{\min }\underset{\mathbf{\alpha },{\alpha }_i\ge 0}{\max }L(\mathbf{w},b,\mathbf{\alpha })$

对偶问题：$\underset{\mathbf{\alpha },{\alpha }_i\ge 0}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })$

对于 $\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })$ 有
$$\begin{array}{rl}\frac{\partial L}{\partial \mathbf{w}}=0& \Rightarrow w=\sum _{i=1}^N{\alpha }_i{\mathbf{x}}_i{y}_i\\ \frac{\partial L}{\partial b}=0& \Rightarrow \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
满足上述参数时，$L$ 关于 $\mathbf{w},b$ 取得最小值，接下来求解 $\underset{\mathbf{\alpha },{\alpha }_i\ge 0}{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })$ ，将上述结果代入有
$$\begin{gathered} \begin{array}{rl}& \underset{\mathbf{\alpha }}{\max }\frac{1}{2}(\sum _{i=1}^N{\alpha }_i{\mathbf{x}}_i{y}_i{)}^2+\sum _{i=1}^N{\alpha }_i[1-(\sum _{j=1}^N{\alpha }_j{\mathbf{x}}_j{y}_j{)}^T{\mathbf{x}}_i{y}_i]\\ =& \underset{\mathbf{\alpha }}{\max }\frac{1}{2}(\sum _{i=1}^N{\alpha }_i{\mathbf{x}}_i{y}_i{)}^T(\sum _{i=1}^N{\alpha }_i{\mathbf{x}}_i{y}_i)-\sum _{i=1}^N{\alpha }_i(\sum _{j=1}^N{\alpha }_j{\mathbf{x}}_j{y}_j{)}^T{\mathbf{x}}_i{y}_i+\sum _{i=1}^N{\alpha }_i\\ =& \underset{\mathbf{\alpha }}{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j<{\mathbf{x}}_i,{\mathbf{x}}_j>+\sum _{i=1}^N{\alpha }_i\end{array} \\ 并且\{\begin{array}{rl}& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i[1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)]=0\\ & {\alpha }_i\ge 0,i=1,2,\cdots ,N\end{array} \end{gathered}$$
从而转变为一个求解 ${\alpha }_i$ 的优化问题，若求解出 ${\alpha }_i$ ，则 $\mathbf{w},b$ 自然可以表示出来。
$$\begin{gathered} \mathbf{w}=\sum _{i=1}^N{\alpha }_i{\mathbf{x}}_i{y}_i \\ b=\frac{1-y_i{\mathbf{w}}^T\mathbf{x}}{y_i},\mathbf{x}\in S \end{gathered}$$
其中， $S$ 表示支持向量的样本集合。从而有SVM的决策函数
$$y=(\sum _{i=1}^N{\alpha }_i{\mathbf{x}}_i{y}_i{)}^T\mathbf{x}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_i^T\mathbf{x}$$

序列最小化算法(SMO)

上节最后得到的关于 $\mathbf{\alpha }$ 的式子是一个二次规划问题，使用通用算法开销比较大。SMO方法是1998年提出的，用于求取SVM中的拉格朗日乘子，比通用算法更加高效。

其主要思想为，选取两个变量 ${\alpha }_i,{\alpha }_j$ ，固定其他参数，对这两个参数进行优化，然后重复这个过程。

线性不可分时的核函数应用

在样本数据是线性不可分的情况中，自然上述的SVD无法解决，如下图（左）所示，椭圆内是一类，椭圆外是一类，自然无法用一条直线进行区分。这时，我们可以将原始数据进行一个空间映射。

设原空间为 $\chi \subset {\mathbb{R}}^2,\mathbf{x}=[x_1,x_3{]}^T\in \chi$ ，新空间为 $\mathrm{Z}\in {\mathbb{R}}^2,\mathbf{z}=[z^1,z^2{]}^T\in \mathrm{Z}$ ，定义从原空间到新空间的映射为
$$\mathbf{z}=\varphi (\mathbf{x})=[x_1^2,x_2^2{]}^T$$
经过变换 $\mathbf{z}=\varphi (\mathbf{x})$ ，原空间 $\chi \subset {\mathbb{R}}^2$ 变换为新空间 $\mathrm{Z}\subset {\mathbb{R}}^2$ ，原空间的点相应的变换为新空间的点，原空间的椭圆
$$w_1{x}_1^2+w_2{x}_2^2+b=0$$
变换为新空间的直线
$$w_1{z}_1+w_2{z}_2+b=0$$
这样，就可以用普通的SVM进行处理了。由于SVD的求解过程的特殊性，即它并不需要明确知道每一个样本点的具体坐标，而仅仅需要两两样本间的内积，因此在SVD中的核函数并不需要知道变换后的坐标，仅需要变换后的内积即可。故有几种常见核函数：

1. 多项式核函数
   $$K(\mathbf{x},\mathbf{z})=(\mathbf{x}\cdot \mathbf{z}+1{)}^p$$
   对应的SVM是一个 $p$ 次多项式分类器，在此情况下，分类决策函数为
   $$\begin{array}{r}f(\mathbf{x})=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i({\mathbf{x}}_i\cdot \mathbf{x}+1{)}^p+b^{\ast })\end{array}$$

2. 高斯核函数
   $$K(\mathbf{x},\mathbf{z})=e^{-\frac{||\mathbf{x}-\mathbf{z}|{|}^2}{2{\sigma }^2}}$$
   对应的SVM是一个高斯径向基函数分类器，在此情况下，分类决策函数为
   $$\begin{array}{r}f(\mathbf{x})=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{e}^{-\frac{||\mathbf{x}-\mathbf{z}|{|}^2}{2{\sigma }^2}}+b^{\ast })\end{array}$$

参考资料：支持向量机原理推导及Python实现