【面试总结】SVM

SVM

简介

支持向量机（support vector machines, SVM）是一种分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器；SVM的的学习策略就是最大化间隔，可化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM还包括核技巧、软间隔等，其基本的原理图如下。
正像图中展示的样子，SVM解决的是分类问题，就是寻找一个超平面（红色的线，原始的是线性的）将图中的圆圈和五角星分开，并且要求正负样本到超平面的几何间隔最大（增加鲁棒性），其中蓝色的圈或者五角星就是支持向量。

算法原理

以简单的二分类问题为例，假设训练集有N个样本数据，可以将其表示为：
T = { ( x i , y i ) N } T = \{(\boldsymbol{x_i,y_i})_N\} T={(xi​,yi​)N​}
其中${\mathbf{x}}_{\mathbf{i}}\in {\mathbb{R}}^n$, y i ∈ { − 1 , + 1 } y_i \in \{-1,+1\} yi​∈{−1,+1},${\mathbf{x}}_{\mathbf{i}}$是第i个特征，$y_i$是类别种类。
再假设训练数据集是线性可分的
另外假设，代求的超平面方程为${\mathbf{w}}^T\mathbf{x}+b=0$，$\mathbf{w}$和b是代确定的系数（机器学习所学的东西）。
我们的目标是要找到一组$\mathbf{w}$和b，使得训练集中所有的样本点到所求超平面的最小距离最大。因此我们首先要做的是表示点到超平面的距离。
$$D_i=\frac{|{\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b|}{||w||}$$
为了方便运算和求导，我们结合$y_i$的二值特性，将上面的距离改写 为
$${\gamma }_i=y_i(\frac{{\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b}{||w||})$$
那么所有样本点到超平面的最小距离可以表示为
$$\gamma =\underset{i=1,2,...N}{\min }{\gamma }_i$$
所以我们求解的问题就可以用公式表示为
$$\{\begin{array}{r}\underset{\mathbf{w},b}{\max }\gamma \\ s.t.y_i(\frac{({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)}{||w||}\ge \gamma )\end{array}$$
为了表示方便，将约束进行归一化，左右除以$\gamma$，进一步可将问题转换为
$$\{\begin{array}{r}\underset{\mathbf{w},b}{\max }\gamma \\ s.t.y_i\frac{({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)}{||w||\gamma }\ge 1)\end{array}$$
进一步可以令
$$\{\begin{array}{r}{b}_0=\frac{b}{||w||\gamma }\\ {\mathbf{w}}_0=\frac{\mathbf{w}}{||w||\gamma }\end{array}$$
到这里，我们就可以将约束转换为$$y_i({{\mathbf{w}}_0}^T{\mathbf{x}}_{\mathbf{i}}+b_0)\ge 1$$
弄完了约束，回过头来看看优化目标
$$\underset{\mathbf{w},b}{\max }\gamma =\underset{\mathbf{w},b}{\max }\underset{i=1,2,...N}{\min }{y}_i(\frac{{\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b}{||w||})$$
上面的式子中||w||是一个与i无关的变量，可以放在min的前面，$y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\ge \gamma ||w||)$,我们可以假设存在一个数p，使得$y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)$的最小值是p，这样就可以得到优化的目标为
$$\underset{\mathbf{w},b}{\max }\gamma =\underset{\mathbf{w},b}{\max }\underset{i=1,2,...N}{\min }{y}_i(\frac{{\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b}{||w||})=\underset{\mathbf{w},b}{\max }\frac{q}{||w||}$$
根据$w$和$w_0$的关系，并且q是常数，我们可以将上诉优化问题写成。

$$\{\begin{array}{r}\underset{{\mathbf{w}}_0,b_0}{\max }\frac{1}{||w_0||}\\ s.t.y_i({{\mathbf{w}}_0}^T{\mathbf{x}}_{\mathbf{i}}+b_0)\ge 1\end{array}$$
而$w$和$w_0$并没有取值范围的限制，所以，我们直接替换上面式子中的$w_0$为$w$
$$\{\begin{array}{r}\underset{\mathbf{w},b}{\max }\frac{1}{||w||}\\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1\end{array}$$
最大化 $\frac{1}{||w||}$ ，也就等价于最小化 $0.5||w|{|}^2$ （ 为了后面求导以后形式简洁，所以乘0.
5，不影响结果），因此SVM模型的求解最大分割超平面问题又可以表示为以下约束最优化问题
$$\{\begin{array}{r}\underset{\mathbf{w},b}{\min }\frac{||w|{|}^2}{2}\\ s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1\end{array}$$
这是一个含有不等式约束的凸二次规划问题，可以对其使用拉格朗日乘子法得到其对偶问题（dual problem）。
首先，我们将有约束的原始目标函数转换为无约束的新构造的拉格朗日目标函数
$$L(w,b,\alpha )=\frac{||w|{|}^2}{2}-\sum _i^N{\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)-1]$$
其中${\alpha }_i$为拉格朗日乘子，且${\alpha }_i\ge 0$ 。现在我们令
$$\theta (\mathbf{w})=\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )$$
当样本点不满足约束条件时，即在可行解区域外：
$$y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)<1$$
此时，将$\theta (\mathbf{w})$为无穷大.
当满本点满足约束条件时，即在可行解区域内：
$$y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1$$
此时，$\theta (\mathbf{w})$为原函数本身。于是，将两种情况合并起来就可以得到我们新的目标函数
$$\theta (\mathbf{w})=\{\begin{array}{r}\frac{||w|{|}^2}{2},\mathbf{x}\in 可行区域\\ +\infty ,\mathbf{x}\notin 可行区域\end{array}$$

于是原约束问题就等价于
$$\underset{\mathbf{w},b}{\min }\theta (\mathbf{w})=\underset{\mathbf{w},b}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )=p^{\ast }$$
新的目标函数，需要先求最大值，再求最小值。这样的话，我们首先就要面对带有需要求解的参数$\mathbf{w}$和b 的方程，而${\alpha }_i$又是不等式约束，这个求解过程不好做。所以，可以使用拉格朗日函数对偶性，将最小和最大的位置交换一下，这样就变成了：
$$\underset{{\alpha }_i\ge 0}{\max }\underset{\mathbf{w},b}{\min }L(w,b,\alpha )=d^{\ast }$$
要想 ，需要满足两个条件：① 优化问题是凸优化问题 ② 满足KKT条件
本优化问题显然是一个凸优化问题，所以条件一满足，而要满足条件二，即要求
$$\{\begin{array}{r}{\alpha }_i\ge 0\\ y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1\\ {\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)-1]=0\end{array}$$

为了得到求解对偶问题的具体形式，需要先求${\min }_{\mathbf{w},b}L(w,b,\alpha )$,这需要分别对$\mathbf{w}$和b求偏导，其结果为
$$\frac{\partial L}{\partial \mathbf{w}}=\mathbf{w}-\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}$$
$$\frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i{y}_i$$
令偏导为0，得到结果为
$$\mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}$$
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$

把这两个结果分别代入L中，整理便可以得到
$$\underset{\mathbf{w},b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _1^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}})+\sum _{i=1}^N{\alpha }_i$$
于是乎求${\min }_{\mathbf{w},b}L(w,b,\alpha )$对$\alpha$的极大值就是下面的优化问题
$$\{\begin{array}{r}\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _1^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}})+\sum _{i=1}^N{\alpha }_i\\ s.t.{\alpha }_i\ge 0\\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
为了方便表示，把最大优化问题，转化为最小优化问题
$$\{\begin{array}{r}\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _1^N{\alpha }_i{\alpha }_j{y}_i{y}_j({\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}})-\sum _{i=1}^N{\alpha }_i\\ s.t.{\alpha }_i\ge 0\\ s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
现在我们的优化问题变成了如上的形式。对于这个问题，我们有更高效的优化算法，即序列最小优化（SMO）算法。这里暂时不展开关于使用SMO算法求解以上优化问题的细节。
前面的推导都是假设满足KKT条件下成立的，KKT条件如下
$$\{\begin{array}{r}{\alpha }_i\ge 0\\ {\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)-1]=0\\ y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1\end{array}$$
我们通过这个优化算法能得到 ${\alpha }^{\ast }$ ，再根据 ${\alpha }^{\ast }$，我们就可以求解出 和$\mathbf{w}$和b，进而求得我们最初的目的：找到超平面，即”决策平面”。
到这里也就说明了怎么通过数据求$\mathbf{w}$和b，如果进行编码的话，到这里就基本上可以实现算法了。但是这里为了完整的证明，还需要进行下面的工作。

上面的过程中我们得到了
$$\mathbf{w}=\sum _{i=1}^N{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}$$
$$b=y_j-\sum _{i=1}^N{\alpha }_i{y}_i({\mathbf{x}}_{\mathbf{i}}{\mathbf{x}}_{\mathbf{j}})$$
由kkt条件看出， 当$y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)-1=0$时，${\alpha }_i$的取值才有效，否则就是0，所以对$\mathbf{w}$和b起作用的向量只有在最大间隔边界上的点，其余的向量都不起作用

松弛变量

到这里都是基于训练集数据线性可分的假设下进行的，但是实际情况下几乎不存在完全线性可分的数据，为了避免过拟合，解决部分线性不可分问题，引入了“软间隔”的概念（松弛变量），即允许某些点不满足约束。

采用hinge损失，将原问题改写为
$$\underset{\mathbf{w},b,\xi }{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^M{\xi }_i$$
$$\begin{gathered} s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1-{\xi }_i \\ {\xi }_i\ge 0 \end{gathered}$$
其中${\xi }_i$为“松弛变量”，${\xi }_i=max(0,1-y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b))$ ，即一个hinge损失函数。每一个样本都有一个对应的松弛变量，表征该样本不满足约束的程度。C称为惩罚参数， C 值越大，对分类的惩罚越大。跟线性可分求解的思路一致，同样这里先用拉格朗日乘子法得到拉格朗日函数，再求其对偶问题。

核函数

对于输入空间中的非线性分类问题，可以通过非线性变换将它转化为某个维特征空间中的线性分类问题，在高维特征空间中学习线性支持向量机。由于在线性支持向量机学习的对偶问题里，目标函数和分类决策函数都只涉及实例和实例之间的内积，所以不需要显式地指定非线性变换，而是用核函数替换当中的内积。核函数表示，通过一个非线性转换后的两个实例间的内积。具体地，
$$K(x,z)=\varphi (x)\varphi (z)$$

在线性支持向量机学习的对偶问题中，用核函数$$K(x,z)$$替代内积，求解得到的就是非线性支持向量机

徒手实现

跟着B站小姐姐走吧