（一）拉格朗日对偶问题（Lagrange duality）

拉格朗日对偶问题（Lagrange duality）

  在约束最优化问题中，常常利用拉格朗日对偶性（Lagrange duality）将原始问题转化为对偶问题，通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习方法中，例如，最大熵模型与支持向量机。这里简要叙述拉格朗日对偶性的主要概念和结果。

1. 原始问题

  假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数，考虑约束最优化问题：
$$\{\begin{array}{ll}{\min }_{x\in R^n}& f(x)\\ s.t.& c_i(x)\le 0,i=1,2,\dots ,k\\ & h_j(x)=0,j=1,2,\dots ,l\end{array}$$
  称此约束优化问题为原始优化问题或原始问题。

  现在如果不考虑约束条件，原始问题就是：
$$\underset{x\in R^n}{\min }$$
  因为假设其连续可微，利用高中的知识，对$f(x)$求导数，然后令导数为 0，就可解出最优解很简单. 但是问题来了，这里有约束条件，必须想办法把约束条件去掉才行， 拉格朗日函数派上用场了。

  首先，引进广义拉格朗日函数（generalized Lagrange function）：
$$\mathcal{L}(x,\alpha ,\beta )=f(x)+\sum _{i=0}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$
  这里，$x=(x^{(1)},x^{(2)},\dots ,x^{(n)})\in R^n$，${\alpha }_i,{\beta }_j$是拉格朗日乘子（其实就是上面函数中的参数而已），特别要求${\alpha }_i\ge 0$。考虑$x$的函数：
$${\theta }_P(x)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )$$
  这里，下标$P$表示原始问题。

  假设给定某个 $x$，如果 $x$ 违反原始问题的约束条件，即存在某个 $i$ 使得 $c_i(w)>0$ 或者存在某个 $j$ 使得 $h_j(w)\ne 0$，那么就有：
$${\theta }_P(x)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\left[f(x)+\sum _{i=0}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)\right]=+\infty$$
  因为若存在某个 $i$ 使得 $c_i(w)>0$，则可以令 ${\alpha }_i\to +\infty$，若某个 $j$ 使得 $h_j(w)\ne 0$，则可令 ${\beta }_j$ 使 ${\beta }_j{h}_j(x)\to +\infty$，而将其余各个 ${\alpha }_i,{\beta }_j$ 均取为0。

  相反，如果 $x$ 满足约束条件，则可以得到 ${\theta }_P(x)=f(x)$。因此：
$${\theta }_P(x)=\{\begin{array}{ll}f(x),& x满足原始问题约束\\ +\infty ,& 其他\end{array}$$
  所以如果考虑极小化问题：
$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )=\underset{x}{\min }f(x)$$
  他是与原始最优化问题等价的，即它们有相同的解。问题 ${\min }_x{\max }_{\alpha ,\beta :{\alpha }_i\ge 0}L(x,\alpha ,\beta )$ 称为广义拉格朗日函数的极小极大问题。这样一来，就把原始最优化问题表示为广义拉格朗日函数的极小极大问题。为了方便，定义原始问题的最优值
$$P^{\ast }=\underset{x}{\min }{\theta }_P(x)$$
  称为原始问题的值。

2. 对偶问题

  定义：
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )$$
  在考虑极大化 ${\theta }_D(\alpha ,\beta )={\min }_x\mathcal{L}(x,\alpha ,\beta )$ ，即：
$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )$$
  问题 ${\max }_{\alpha ,\beta :{\alpha }_i\ge 0}{\min }_x\mathcal{L}(x,\alpha ,\beta )$ 被称为广义拉格朗日函数的极大极小问题。

  可以将广义拉格朗日函数的极大极小问题表示为约束最优化问题：
$$\underset{\alpha ,\beta }{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta }{\max }\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )$$
$$s.t.{\alpha }_i(x)\ge 0,i=1,2,\dots ,k$$
  称为原始问题的对偶问题。定义对偶问题的最优值：
$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )$$

3. 原始问题与对偶问题的关系

定理1：

  若原始问题与对偶问题都有最优值，则
$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )=p^{\ast }$$

• 证明：对任意的 $\alpha ,\beta$ 和 $x$，有
  $${\theta }_D(\alpha ,\beta )=\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )\le \mathcal{L}(x,\alpha ,\beta )\le \underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )={\theta }_P(x)$$
    即
  $${\theta }_D(\alpha ,\beta )\le {\theta }_P(x)$$
    由于原始问题和对偶问题均有最优值，所以
  $$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )\le \underset{x}{\min }{\theta }_P(x)$$
    即
  $$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )=p^{\ast }$$

推论1：

  设 $x^{\ast }$ 和 ${\alpha }^{\ast },{\beta }^{\ast }$ 分别是原始问题和对偶问题的可行解，并且 $d^{\ast }=p^{\ast }$ ，则 $x^{\ast }$ 和 ${\alpha }^{\ast },{\beta }^{\ast }$ 分别是原始问题和对偶问题的最优解。

  在某些条件下，原始问题和对偶问题的最优解相等，$d^{\ast }=p^{\ast }$。这时可以用解对偶问题代替解原始问题。

定理2：

  考虑原始问题和对偶问题。假设函数 $f(x)$ 和 $c_i(x)$ 是凸函数，$h_j(x)$ 是仿射函数；并且假设不等式约束 $c_i(x)$ 是严格可行的，即存在 $x$ ，对所有 $i$ 有 $c_i(x)<0$，则存在 $x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$，使 $x^{\ast }$ 是原始问题的解，${\alpha }^{\ast },{\beta }^{\ast }$ 是对偶问题的解，并且
$$p^{\ast }=d^{\ast }=\mathcal{L}(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$$

定理3：（KKT条件）

  对原始问题和对偶问题，假设函数 $f(x)$ 和 $c_i(x)$ 是凸函数，$h_j(x)$ 是仿射函数，并且不等式约束 $c_i(x)$ 是严格可行的，则 $x^{\ast }$ 和 ${\alpha }^{\ast },{\beta }^{\ast }$ 分别是原始问题和对偶问题的解的充分必要条件是 $x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$ 满足下面的 $Karush-Kuhn-Tucker（KKT）$ 条件：
$${\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0$$
$${\nabla }_{\alpha }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0$$
$${\nabla }_{\beta }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0$$
$${\alpha }_i^{\ast }{c}_i(x^{\ast })=0,i=1,2,\dots ,k(KKT对偶互补条件)$$
$$c_i(x^{\ast })\le 0,i=1,2,\dots ,k$$
$${\alpha }_i^{\ast }\ge 0,i=1,2,\dots ,k$$
$$h_j(x^{\ast })=0,j=1,2,\dots ,l$$
  特别指出，${\alpha }_i^{\ast }\ge 0,i=1,2,\dots ,k$ 称为KKT的对偶互补条件。由此条件可知：若 ${\alpha }^{\ast }>0$，则 $c_i(x^{\ast })=0$。