吴恩达机器学习（七）支持向量机 2/3 —— 线性 SVM

$$\ast \ast \ast 点击查看:吴恩达机器学习——整套笔记+编程作业详解\ast \ast \ast$$
第一部分：支持向量机 1/3 —— 建立 SVM 基本型（超平面与间隔）

SVM求解——数学基础

SVM中涉及的数学知识较多：凸优化，拉格朗日乘子法，KKT条件，拉格朗日对偶等等。

建议先逐一了解这些概念（耐心看完）：

1. 马同学：如何理解拉格朗日乘子法？

2. 马同学：非线性优化中的 KKT 条件该如何理解？

3. 拉格朗日对偶，从0到完全理解（讲的很细）

4. 拉格朗日对偶理解（对3的总结）

对拉格朗日乘子法补充一点：马同学的模型是在二维空间上，下图补充三维空间上的理解：$$\begin{array}{rl}& \min f(x,y)=xy\\ & \text{（椭圆）s.t. }{h}_{i(x,y)}=\frac{x^2}{8}+\frac{y^2}{2}-1=0\end{array}$$下面是几何解释， $f(x,y)=xy$ 的等高线图在最下面, 也就是双曲线 $xy=c$ (c是相应的函数值), 椭圆 $x^2/8+y^2/2=1$ 在 $f$ 函数曲面上为蓝色曲线。
从上图可知双曲线离开原点越远，$f$ 的绝对值越大，需要在约束条件下：椭圆 $x^2/8+y^2/2=1$ 上使 $f(x,y)$ 取极值点，也就是与椭圆相切的双曲线会距离原点最远。在这四个切点中，双曲线的法线也是椭圆的法线。观察下图动画, 可以看到黑色 $▽f$ 是 $▽g$ 的数值倍数，最大值处两个梯度向量方向相同, 最小值处方向相反。

---

线性SVM求解

在第一部分得到SVM的基本数学模型（基本型）后，我们现在要求解的就是一个最优化问题。
$$\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ \text{ s.t. }{y}_i\left(w^T{x}_i+b\right)\ge 1,i=1,2,\dots ,m\end{array}$$由于基本型的目标函数是二次的，且约束条件是线性的，这是一个 凸二次规划 问题。可以直接用现成的优化计算包求解，如scikit-learn等，本节课配套的编程作业就是用的这种方法。（编程作业（python）| 支持向量机 SVM）

• 二次规划：
  • 目标函数和约束条件都为变量的线性函数，叫做------线性规划问题。
  • 目标函数为变量的二次函数，约束条件为变量的线性函数，叫做------二次规划问题（即本问题）。
  • 目标函数和约束条件都为非线性函数，叫做------非线性规划问题。

除了用现成的优化计算包，我们还可以用其他方法来解决SVM的优化问题。在此之前，我们先来看下优化问题有哪些类别以及用什么方法解决：

优化问题及数学表达	优化方法
无约束优化问题 $\min f(x)$	费马大定理(Fermat)，即使用求取函数f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。这也就是我们高中经常使用的求函数的极值的方法。
有等式约束的优化问题 $\begin{array}{rl}& \min f(x)\\ & \text{s.t. }{h}_{i(x)}=0,i=1,2,\dots ,m\end{array}$	拉格朗日乘子法（Lagrange Multiplier) ，即把等式约束$h_i(x)$用一个系数与$f(x)$写为一个式子，称为拉格朗日函数，而系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。
有不等式约束的优化问题 $\begin{array}{rl}& \min f(x)\\ & \text{s.t. }{g}_{i(x)}\le 0,i=1,2,\dots ,n\\ & h_{j(x)}=0,j=1,2,\dots ,m\end{array}$	同样地，我们把所有的等式、不等式约束与$f(x)$写为一个式子，也叫拉格朗日函数，系数也称拉格朗日乘子，通过一些条件，可以求出最优值的必要条件，这个条件称为KKT条件。

了解到这些，显然SVM的优化问题是属于第三类：有不等式约束的优化问题。用 拉格朗日乘数法 和 KKT条件 可以解决此类问题。

深究SVM中的数学原理是件很痛苦的事，上述数学原理了解即可，主要是为了SVM的推导做铺垫。

• 总结将 原始问题 转化为 拉格朗日对偶问题 的步骤如下：

步骤	一般优化问题	SVM
原始问题	$$\begin{array}{l}\underset{x}{\min }f(x)\\ \text{ s.t. }{c}_i(x)\le 0,i=1,2,\dots ,m\end{array}$$	$$\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}\Vert w{\Vert }^2\\ \text{ s.t. }{y}_i\left(w^T{x}_i+b\right)\ge 1,i=1,2,\dots ,m\end{array}$$
拉格朗日函数	$$\mathcal{L}(x,\alpha )=f(x)+\sum _{i=1}^m{\alpha }_i{c}_i(x)$$	$$\mathcal{L}(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left(y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)-1\right)$$
拉格朗日对偶（满足KKT条件）	$$\underset{{\alpha }_i\ge 0}{\max }\underset{x}{\min }\left(\mathcal{L}(x,\alpha )\right)$$	$$\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }\left(\mathcal{L}(w,b,\alpha )\right)$$

对偶问题求解

将原始问题转化为拉格朗日对偶问题后：
$$\begin{array}{rl}& \underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }\left(\mathcal{L}(w,b,\alpha )\right)\\ & \mathcal{L}(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left(y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)-1\right)\end{array}$$我们的问题转化为：

1. 首先固定 $\alpha$，使 $\mathcal{L}(w,b,\alpha )$ 关于 $w,b$ 最小化。分别对w和b偏导数，令其等于0，即：
   $$\begin{array}{l}\frac{\partial \mathcal{L}}{\partial \mathbf{w}}=0\Rightarrow \mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ \frac{\partial \mathcal{L}}{\partial b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}$$将求导结果带回 $\mathcal{L}(w,b,\alpha )$，得到
   $$\begin{array}{rl}\mathcal{L}(\mathbf{w},b,\mathbf{\alpha })& =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^m{\alpha }_i\left[y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)-1\right]\\ & =\frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\mathbf{w}-{\mathbf{w}}^{\mathrm{T}}\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =\frac{1}{2}{\mathbf{w}}^{\mathrm{T}}\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i-{\mathbf{w}}^{\mathrm{T}}\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i-b\cdot 0+\sum _{i=1}^m{\alpha }_i\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}{\left(\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\right)}^{\mathrm{T}}\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\end{array}$$此时的 $\mathcal{L}(w,b,\alpha )$ 函数只含有一个变量，即 ${\alpha }_i$，因此 $$\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }\left(\mathcal{L}(w,b,\alpha )\right)=\underset{{\alpha }_i\ge 0}{\max }\left(\mathcal{L}(w,b,\alpha )\right)$$

2. 再对 $\alpha$ 求 $\mathcal{L}(w,b,\alpha )$ 最大，对偶问题可以进一步转化为：
   $$\begin{array}{rl}& \underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j\\ & \text{s.t.}{\alpha }_i\ge 0,i=1,2,\cdots ,m\\ & \sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}$$

现在我们的优化问题变成了如上的形式。对于这个问题，我们有更高效的优化算法，即 序列最小优化（Sequential Minimal Optimizaion-SMO）算法。我们通过这个优化算法能得到 $\alpha$，再根据 $\alpha$，我们就可以求解出 $w$ 和 $b$，进而求得我们最初的目的：找到超平面，即"决策边界"。

解得 $\alpha$ 后，即可求出 $w$ 和 $b$，得到线性SVM的超平面：
$$\begin{array}{rl}f(x)& =w^{T}x+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b\end{array}$$

注：上述过程均要满足KKT条件，即：
$$\{\begin{array}{c}{\alpha }_i\ge 0\\ y_{i}f(x)-1\ge 0\\ {\alpha }_i\left(y_{i}f(x)-1\right)=0\end{array}$$
因此对于任意训练样本 $(x_i,y_i)$ ，总有 ${\alpha }_i=0$ 或 $y_{i}f(x)-1=0$。

• 当 ${\alpha }_i=0$ 时，$f(x)=b$，则该样本不会对 $f(x)$ 产生影响；
• 当 $y_{i}f(x)-1=0$，此时 ${\alpha }_i\ge 0$，对应样本点落在最大间隔边界上，即为支持向量。同时这也是支持向量的一个重要性质：模 型训练完成后，大部分的训练样本不需要保留，最终的模型参数仅与支持向量有关。

推荐阅读：
支持向量机原理篇之手撕线性SVM
陈东岳老师：零基础学SVM—Support Vector Machine(一)
陈东岳老师：零基础学SVM—Support Vector Machine(二)