SVM——（三）对偶性和KKT条件（Lagrange duality and KKT condition）

之前说到过拉格朗日乘数法以及推导过程，那么今天要说的就是拉格朗日对偶性以及KKT条件

1.Lagrange multipliers

一句话说，拉格朗日乘数法就是用来解决条件极值的一个方法，且约束条件都是等式(equality)的形式；由拉格朗日乘数法通常用来解决一些凸优化(convex optimization)问题，所以一般情况下求解的都是极小值，即${\min }_{\omega }f(\omega )$

顺便说一句，convex function 的图像如下：

请看下面这个优化问题：

$$\begin{array}{rl}\underset{\omega }{\min }f(\omega )& \\ s.t.h_i(\omega )& =0,i=1,\cdots ,l.\end{array}$$

其中$\omega 是一个向量$；很明显这是一个条件（等式）极值问题，且用拉格朗日乘数法就能解决。

$\mathbf{L}\mathbf{a}\mathbf{n}\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{n}\mathbf{g}\mathbf{i}\mathbf{a}\mathbf{n}$
$$\mathcal{L}(\omega ,\beta )=f(\omega )+\sum _{i=1}^l{\beta }_i{h}_i(\omega )$$

其中${\beta }_i$是拉格朗日乘子；然后对式子中所有的参数求偏导，令其为0（推导）求解出所有参数；

$$\frac{\partial \mathcal{L}}{\partial {\omega }_i}=0;\frac{\partial \mathcal{L}}{\partial {\beta }_i}=0$$

2.Generalized Lagrangian

请看如下优化问题：

$$\begin{array}{rl}\underset{\omega }{\min }f(\omega )& \\ s.t.g_i(\omega )& \le 0,i=1,\cdots ,k.\\ h_i(\omega )& =0,i=1,\cdots ,l.\end{array}\text{\hspace{1em}(01)}$$

与之前明显不同的就是多了不等式的约束条件；为了解决这个问题，下面我们就要定义广义的拉格朗日乘数法（Generalized Lagrangian）。

$\mathbf{G}\mathbf{e}\mathbf{n}\mathbf{e}\mathbf{r}\mathbf{a}\mathbf{l}\mathbf{i}\mathbf{z}\mathbf{e}\mathbf{d}\mathbf{L}\mathbf{a}\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{n}\mathbf{g}\mathbf{i}\mathbf{a}\mathbf{n}$
$$\mathcal{L}(\omega ,\alpha ,\beta )=f(\omega )+\sum _{i=1}^k{\alpha }_i{g}_i(\omega )+\sum _{i=1}^l{\beta }_i{h}_i(\omega )\text{\hspace{1em}(02)}$$

其中${\alpha }_i$和${\beta }_i$都是拉格朗日乘子；接下来就是进行求解，然而求解方法却与之前大相径庭了。

3.Primal and dual optimization problem

3.1 Primal optimization problem

定义：
$${\theta }_p(\omega )=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(\omega ,\alpha ,\beta )\text{\hspace{1em}(03)}$$

这个式子表示的含义是：求$\mathcal{L}(\omega ,\alpha ,\beta )$的最大值，$\alpha ,\beta$作为自变量（与$\omega$无关），求得的结果${\theta }_p$是关于$\omega$的函数

我们现在来做这样一个假设，存在$g_i$或$h_i$使得原约束条件不成立，即($g_i(\omega )>0or{h}_i(\omega )\ne 0$)，如果是这样的话${\theta }_p$会发生什么变化呢？

如果$g_i(\omega )>0$，为了求得$\mathcal{L}$的最大值，只需要取${\alpha }_i$为无穷大，则此时$\mathcal{L}$最大，但又没有意义；同样，如果$h_i(\omega )\ne 0$，取$\beta$为无穷大（$h_i$与<