理解SVM 的三层境界 —— 自学笔记02

理解SVM 的三层境界 —— 自学笔记02

主要参考资料为：

1： 结构之法算法之道blog（作者July）的 支持向量机通俗导论（理解SVM的三层境界）。

2: Convex Optimization（作者Stephen Boyd）

本文为以自己思路整理的笔记。

一、了解SVM

☛理解SVM 的三层境界 —— 自学笔记01

二、深入 SVM

优化问题的求解：

前面我们已经得到了要求解的优化问题（公式1.3）。当 $\frac{1}{||\omega ||}$ 取得最大值的时候，显然 $\frac{1}{2}||\omega |{|}^2$ 取得最小值，所以为了方便求解，我们将优化为题改为：
$$\begin{array}{rl}& \text{minminze}\frac{1}{2}||\omega |{|}^2\\ & \text{subject to}{y}_i({\omega }^T{x}_i+b)\ge 1,i=1,\cdots ,n\end{array}\text{\hspace{1em}(2.1)}$$
现在的优化问题中，目标函数是二次的，约束条件是线性的，所以是一个凸二次规划问题即QP（Quadratic Programming）问题，可以通过相关的优化问题工具包解决。

但是在实际应用过程中，我们一般通过拉格朗日对偶性(Lagrange Duality)先求解对偶问题的解，然后得到原始问题的最优解，以为对偶问题一般更容易求解，此外还可以引入核函数，进而推广到非线性问题的求解。

---

Q: 如何理解 拉格朗日乘数法 ？

A:

拉格朗日乘数法就是将约束条件融合到原目标函数中去，构成拉格朗日函数，用一个表达式表达了我们要求解的问题。对于一个关于$n$维向量 $x=(x_1,x_2,\cdots ,x_n{)}^T$的约束优化问题
$$\begin{array}{rl}& \text{minminze}f(x)\\ & \text{subject to}g(x)\le C\end{array}\text{\hspace{1em}(2.2)}$$
如 图4 所示，当 $n=2$ 且约束为等式约束的时候，即在二维空间中 ，红色曲线表示等式约束条件，蓝色曲线表示目标函数取不同值时候的 “等高线” ，该约束优化问题即表示在红色曲线上找到是的蓝色曲线取最小值的点，显然取到这样的点的时候，两曲线相，即梯度向量平行，$\nabla f(x)+\lambda \nabla g(x)=0,\lambda \ne 0,\lambda =({\lambda }_1,\lambda ,\cdots ,{\lambda }_n)$ 。然而上述问题对应的拉格朗日函数可以表示为
$$\mathcal{L}(x,\lambda )=f(x)+\lambda g(x)\text{\hspace{1em}(2.3)}$$
其中 $\lambda$ 表示拉格朗日乘子，容易看出，两个梯度向量平行的表达式刚好和 ${\nabla }_x\mathcal{L}$ 形式相同。所以我们可以放心的将等式约束融合到拉格朗日函数中去。当等式约束变成不等式约束时候，图4 中的可行域从曲线变成了橙色阴影区域。这是我们只需要对拉格朗日乘子 $\lambda$ 有一个 $\lambda \ge 0，(\forall i=1,2,\cdots ,n;{\lambda }_i\ge 0)$ 的约束即可，这个稍后在 K.K.T. 条件部分会进行阐述。

图4 二维空间拉格朗日乘数法图示

---

Q: 如何理解 拉格朗日对偶性？

A： 参考教材 Convex Optimization）

---

*Q: 如何理解*K.K.T(Karush-Kuhn-Tucker)条件？

A： 参考教材 Convex Optimization）和

对于公式（2.3）描述的问题，约束不等式 $g(x)\le 0$ 表示 原始可行性(Primal Feasibility) ，对于约束不等式对应的可行域有两种情况，即没有约束时候的最优解 是否在可行域内。设 $\mathcal{L}(x,\lambda )$ 对应的 最优解 $x^{\ast }$ 。则有 ：

① $g(x^{\ast })<0$ .如图5（左1）所示，即表示 无约束时候的最优解也在可行域内部，那么该约束好像并没有存在的意义，这时我们认为该约束问题退化成为了无约束问题，这时有 $\mathcal{L}(x,\lambda )$ 和 $f(x)$ 等价， $\lambda =0\nabla f(x)=0$ 。

② $g(x^{\ast })=0$ .如图5（左2）所示，即表示 无约束时候的最优解在可行域外部，有了约束条件之后该解可能取不到。这时的最优解在边界上，也称为边界解，此时约束条件是有效的。存在 $\lambda \ge 0$ 使得 $\nabla f(x)+\nabla g(x)=0$ ,即 $\nabla f(x)=-\lambda \nabla g(x)$ 成立，为什么要 $\lambda \ge 0$ 呢？

（我们要最小化 $f(x)$ ，而 $\nabla f(x)$ 是指向 $f(x)$ 增大最快的方向，即会指向可行域的内部，而 $\nabla g(x)$ 指向可行域的外部，所以两者梯度方向相反。$\lambda =0$ 时候表示 无约束时候的最优解刚好在可行域边界，如图5 (右1)所示）

图5 二维空间中可行域分布情况分类

综合①②两种情况，$\lambda =0$ 和 $g(x)=0$ 总有一个成立，所以有 $\lambda g(x)=0$ 恒成立。

我们将 $\lambda \ge 0$ 称为对偶可行性(Dual Feasibility)， $\lambda g(x)=0$ 称为互补松弛性(Complementary Slackness)。综合三种可行性和梯度向量平行，我们有：
$$\{\begin{array}{r}{\nabla }_x\mathcal{L}=\nabla f(x)+\lambda \nabla g(x)=0\\ g(x)\le 0\\ \lambda \ge 0\\ \lambda g(x)=0\end{array}\text{\hspace{1em}(2.4)}$$
公式（2.4）称为 K.K.T(Karush-Kuhn-Tucker) 条件。

---

※ 对应到我们的优化问题（公式 2.1），拉格朗日函数表述为：
$$\mathcal{L}(\omega ,b,\lambda )=\frac{1}{2}||\omega |{|}^2-\sum _{i=1}^n{\lambda }_i(y_i({\omega }^T{x}_i+b)-1)\text{\hspace{1em}(2.5)}$$
※ 注意这里的 $x_i$ 为列向量

原优化问题目标函数表述为：
$$\underset{\omega ,b}{\min }\theta (\omega )=\underset{\omega ,b}{\min }\underset{\lambda \ge 0}{\max }\mathcal{L}(\omega ,b,\lambda )=p^{\ast }\text{\hspace{1em}(2.6)}$$
这里的 $p^{\ast }$ 即我们要求解问题的最优解，并且和最初的问题是等价的。而直接求解时候过程比较复杂（$\lambda$ 约束为不等式约束，并且有 $\omega$ 和 $b$ 两个参数），所以我们利用拉格朗日对偶性将问题转换为：
$$\underset{\lambda \ge 0}{\max }\underset{\omega ,b}{\min }\mathcal{L}(\omega ,b,\lambda )=d^{\ast }\text{\hspace{1em}(2.7)}$$
根据拉格朗日对偶性，有 $d^{\ast }\le p^{\ast }$ ，满足 K.K.T. 条件后，有两者相等，则我们可以通过求解对偶问题（公式 2.7）得到最优解。

该问题的 K.K.T. 条件表述为：
$$\{\begin{array}{r}{\nabla }_{\omega ,b}\mathcal{L}(\omega ,b,\lambda )=0\\ -\sum _{i=1}^n(y_i({\omega }^T{x}_i+b)-1)\le 0\\ \lambda \ge 0\\ \sum _{i=1}^n{\lambda }_i(y_i({\omega }^T{x}_i+b)-1)=0\end{array}\text{\hspace{1em}(2.8)}$$

求解对偶问题的步骤（含公式化简）：

①根据 K.K.T. 条件中的梯度向量平行条件有：
$$\begin{array}{rl}\frac{\partial \mathcal{L}}{\partial \omega }=0& \Rightarrow \omega =\sum _{i=1}^n{\lambda }_i{y}_i{x}_i\\ \frac{\partial \mathcal{L}}{\partial b}=0& \Rightarrow \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(2.9)}$$
将公式 2.9带入公式 2.5 有：
$$\begin{array}{rl}\mathcal{L}(\omega ,b,\lambda )& =\frac{1}{2}||\omega |{|}^2-\sum _{i=1}^n{\lambda }_i(y_i({\omega }^T{x}_i+b)-1)\\ & =\frac{1}{2}{\omega }^T\omega -\sum _{i=1}^n{\lambda }_i{y}_i{\omega }^T{x}_i-\sum _{i=1}^n{\lambda }_i{y}_{i}b+\sum _{i=1}^n{\lambda }_i\\ & =\frac{1}{2}{\omega }^T\sum _{i=1}^n{\lambda }_i{y}_i{x}_i-\sum _{i=1}^n{\lambda }_i{y}_i{\omega }^T{x}_i+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}{\omega }^T\sum _{i=1}^n{\lambda }_i{y}_i{x}_i+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}{(\sum _{i=1}^n{\lambda }_i{y}_i{x}_i)}^T\sum _{i=1}^n{\lambda }_i{y}_i{x}_i+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}\sum _{i=1}^n{\lambda }_i{y}_i{(x_i)}^T\sum _{i=1}^n{\lambda }_i{y}_i{x}_i+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}\sum _{j=1}^n\sum _{i=1}^n{\lambda }_i{y}_i{(x_i)}^T{\lambda }_j{y}_j{x}_j+\sum _{i=1}^n{\lambda }_i\\ & =-\frac{1}{2}\sum _{j=1}^n\sum _{i=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{(x_i)}^T{x}_j+\sum _{i=1}^n{\lambda }_i\end{array}$$

$$\mathcal{L}(\omega ,b,\lambda )=-\frac{1}{2}\sum _{j=1}^n\sum _{i=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{(x_i)}^T{x}_j+\sum _{i=1}^n{\lambda }_i\text{\hspace{1em}(2.10)}$$

②对于 $\lambda$ 求 极大值，即得到关于 $\lambda$ 的单变量最优化问题：
$$\begin{array}{rl}\underset{\lambda }{\max }& \sum _{i=1}^n{\lambda }_i-\frac{1}{2}\sum _{j=1}^n\sum _{i=1}^n{\lambda }_i{y}_i{\lambda }_j{y}_j{(x_i)}^T{x}_j\\ \text{s.t.}& {\lambda }_i\ge 0,i=1,2,\cdots ,n\\ & \sum _{i=1}^n{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(2.11)}$$
根据 $\lambda$ 可以得到 ${\omega }^{\ast }{b}^{\ast }$ :
$$\begin{array}{rl}{\omega }^{\ast }& =\sum _{i=1}^n{\lambda }_i{y}_i{x}_i\\ b^{\ast }& =-\frac{1}{2}(\underset{i,y=-1}{\max }{\omega }^{\ast T}{x}_i+\underset{i,y=1}{\min }{\omega }^{\ast T}{x}_i)\end{array}\text{\hspace{1em}(2.12)}$$
公式2.12 中的2式表示，选取一系列平行超平面中距离两样本族支持向量距离相等的一个，可参考 图3 中的橙色线。

其中 $\lambda$ 的求解需要用到 SMO 算法。

核函数：

待更新~

三、 证明SVM

敬请期待~