SVM-2-拉格朗日与对偶问题

参考http://www.cnblogs.com/jerrylead

引入拉格朗日乘法

对于下面的最优化问题：

$$min_w\ f(w)$$
$$s.t.\ h_i(w)=0,\ i=1,...,l$$
通常的解法是引入拉格朗日算子：
$$L(w,\beta) =f(w)+\sum^l_{i=1}\beta_ih_i(w)$$
注：
1、所谓最优化问题，即在约束条件（这里是等式约束 $h_i(w)=0,\ i=1,...,l$）下，求解目标函数(这里是 $f(w)$)的最大值，或最小值。
2、 $l$是等式约束的个数
3、$\beta_i$是拉格朗日算子。
我们求 $L(w,\beta)$关于 $w$和$\beta$的偏导数:
$$\frac{\partial{L}}{\partial{w_i}}=0;\ \frac{\partial{L}}{\partial{\beta_i}}=0\\$$
计算得到 $w$和$\beta$.

下面讨论广义拉格朗日算子（带有不等式约束）

给出原始优化问题（primal optimization problem）：

$$min_w\ \ \ f(w)$$
$$s.t.\ \ \ g_i(w)\leq0,\ i=1,...,k\\h_i(w)=0,\ i=1,...,l$$
定义广义拉格朗日算子：
$$L(w,\alpha,\beta)=f(w)+\sum^k_{i=1}\alpha_ig_i(w)+\sum^l_{i=1}\beta_ih_i(w).\\$$
这里的 $\alpha_i,\beta_i$都是拉格朗算子

下面定义：$\theta_P(w)=\max_{\alpha,\beta:\alpha_i\geq0}L(w,\alpha,\beta)\\$
注：$\theta_P$中的”P”是”primal”的缩写
上式中若$w$违反原始约束条件($g_i(w)>0或者h_i(w)\not=0$)我么必然可以通过调整$\alpha_i$的值使得$\theta_P(w)=\max_{\alpha,\beta:\alpha_i\geq0}f(w)+\sum^k_{i=1}\alpha_ig_i(w)+\sum^l_{i=1}\beta_ih_i(w)=\infty$
相反的，如果原始约束条件都满足，则可得：$\theta_P(w)=f(w)$，因此可以写出下面的式子：

$$\theta_P(w)=\left\{\begin{array}{ll} f(w) & \textrm{if w satisfies primal constraints}\\ \infty & \textrm{otherwise} \end{array}\right.$$

因此我们再考虑下面的式子：

$$\min_w\theta_P(w)=\min_w\ \max_{\alpha,\beta:\alpha_i\geq0} L(w,\alpha,\beta)$$
注：当原始约束条件满足时， $\min_w\theta_P(w) \iff \min f(w)$

定义$p^*=\min_w \theta_P(w)$，即用$p^*$代表优化问题的值。此时如果直接求解，首先面对的是两个参数，而$\alpha_i$也是不等式约束，然后再在$w$ 上求最小值。这个过程可不容易做。

引入对偶问题

现在我们考虑下面的问题，定义：

$\theta_D(\alpha,\beta) = \min_w L(w,\alpha,\beta)$
注：
1、这里”$D$”是“$dual$”的缩写
2、在之前定义的$\theta_P$中，我们是取的$\max$
下面给出原问题的对偶问题公式：

$$\max_{\alpha,\beta:\alpha_i\geq 0} \theta_D(\alpha,\beta) = \max_{\alpha,\beta:\alpha_i\geq 0} \min_w L(w,\alpha,\beta)$$
明显和原问题相比只是交换了 $\max和\min$的 位置。
和之前定义 $p^*$一样，定义 $d^*= \max_{\alpha,\beta:\alpha_i\geq 0} \theta_D(\alpha,\beta)$
一般的有 $\max \min f(x) \leq \min \max f(x)$
因此可得：
$$d^*= \max_{\alpha,\beta:\alpha_i\geq 0} \min_w L(w,\alpha,\beta) \leq \min_w\ \max_{\alpha,\beta:\alpha_i\geq0} L(w,\alpha,\beta) =p^*$$
在一定的条件下对偶问题等价于原问题，即在一定条件下我们可以得到 $d^*=p^*$，这样我们就可以用求解对偶问题代替求解原始问题了。
$\\$
下面让我们来看看 $d^*=p^*$的条件
假设 $f和g_i$都是凸函数， $h_i$是仿射(affine)的,(仿射函数即由1阶多项式构成的函数，一般形式为 f (x) = A x + b，这里，A 是一个 m×k 矩阵，x 是一个 k 向量,b是一个m向量，实际上反映了一种从 k 维到 m 维的空间映射关系。)
，且对于所有 $g_i(w)$存在 $w$使得$g_i(w) \leq 0\\$
注：
仿射函数：I.e., there exists $a_i$, bi, so that $h_i(w) = a^T _i w + b_i$. “Affine” means the same thing as linear, except that we also allow the extra intercept term $b_i$.也就是说，去掉 $b_i$他就是一个线性函数，加上 $b_i$就叫仿射函数。

基于上面的假设必然存在$w^*,\alpha^*,\beta^*$，使得$w^*$是原问题的解， $\alpha^*, \beta^∗$是对偶问题的解,且满足$p^*=d^*=L(w^*,\alpha^*,\beta^*)$。最重要的是这样的$w^*,\alpha^*,\beta^*$满足Karush-Kuhn-Tucker (KKT)conditions，KKT规则如下：

$$\frac{\partial}{\partial w_i} L(w^*,\alpha^*,\beta^*) =0,\ i=1,...,n\\ \frac{\partial}{\partial \beta_i} L(w^*,\alpha^*,\beta^*) =0,\ i=1,...,l\\ \alpha_i^* g_i(w^*) = 0,\ i=1,...,k\\ g_i(w^*) \leq 0,\ i=1,...,k\\ \alpha^*\geq 0,\ i=1,...,k$$
对于满足KKT规则的 $w^*,\alpha^*,\beta^*$，其必然同时满足原始问题和对偶问题。
上式中公式 $\alpha_i^* g_i(w^*) = 0$被称为KKT对偶互补条件( KKT dual complementarity condition)，它隐含了下面的条件：
如果 $\alpha^*_i > 0$，则 $g_i(w^*)=0$。（即约束条件 $g_i(w) \leq 0$成立，只是将不等式约束变成了等式约束）