拉格朗日对偶性

拉格朗日对偶性

拉格朗日对偶性常常被用来解决有约束条件的最优化问题，在最大熵模型或者支持向量机的优化中最为常见，其主要思路就是将带约束条件的原始为题转换为没有约束条件的对偶问题。

原始问题和拉格朗日函数

首先呈现以下原始问题，我们在做优化的时候，会遇到需要优化一个函数 $f(x)$，这个函数还带着两个约束条件，这里分别用 $c_i(x)$ 和 $h_j(x)$ 来表示，写成数学表达式就是：

$\min\limits_{x\in R^n}\ f(x)$

s.t. $c_i(x)\le0, \ \ i=1,2,3...\\h_j(x)=0, \ \ j=1,2,3...$

首先要引入拉格朗日函数(generalized Lagrange function)

也就是通过拉格朗日乘子 $\alpha, \beta$ 将原始问题附带的约束条件( $c_i(x)$ 和 $h_j(x)$ )融合进需要优化的目标函数( $f(x)$ )中，同时形成新的函数( $L(x,\alpha,\beta)$ )的过程，具体的数学表达式为：

$L(x,\alpha,\beta)=f(x)+\sum\limits_{i=1}^k\alpha_ic_i(x)+\sum\limits_{j=1}^l\beta_jh_j(x)$

这里需要注意一个前提条件是 $\alpha_i\ge0$，有时候这个条件也会被拿来解后续的方程

通过这样的转换，原始问题就变成了：

$\theta_p(x)=\max\limits_{\alpha,\beta:\alpha_i\ge0}\ \ L(x,\alpha,\beta)$

再加上之前需要做极小化的优化，那么就是：

$\min\limits_x \theta_p(x) = \min\limits_x\ \max\limits_{\alpha,\beta:\alpha_i\ge0}\ \ L(x,\alpha,\beta)$

后者被称为广义拉格朗日函数的极小极大问题，也就是先求min再求max。

对偶问题

假设有

$\theta_D(\alpha,\beta)=\min\limits_{x}\ \ L(x,\alpha,\beta)$，

然后在求 $\theta_D(\alpha,\beta)$ 的极大值，即 $\max\limits_{\alpha,\beta:\alpha_i\ge0}\min\limits_{x}\ \ L(x,\alpha,\beta)$，的这样一个过程被称为广义拉格朗日函数的极大极小问题。如果将这个问题表示为数学格式，则是：

$\max\limits_{\alpha,\beta}\ \theta_D(\alpha,\beta)=\max\limits_{\alpha,\beta}\ \min\limits_{x}\ L(x,\alpha,\beta)$

s.t. $\alpha_i(x)\ge0, \ \ i=1,2,3...$

原始问题和对偶问题的关系

我们先分别设定原始问题和对偶问题的最优解为：p和d

$p=\min\limits_x \theta_p(x)$

$d=\max\limits_{\alpha,\beta:\alpha_i\ge0}\theta_D(\alpha,\beta)$

对于任意的 $\alpha,\beta,x$：

$\theta_D(\alpha,\beta)=\min\limits_{x}\ \ L(x,\alpha,\beta)\le L(x,\alpha,\beta)\le\max\limits_{\alpha,\beta:\alpha_i\ge0}L(x,\alpha,\beta)=\theta_p(x)$

即：$\theta_D(\alpha,\beta)\le\theta_p(x)$

由于原始问题和对偶问题都有最优解，所以有 $d\le p$。特别地，当上式得等号成立的时候，有一组特殊的 $x,\alpha,\beta$ 既是原始问题的解，又是对偶问题的解。换句话说，如果我们有条件可以令 $d=p$ 的话，两种问题的解可以互换，于是我们就可以通过解对偶问题来解原始问题了。