kkt条件 弱对偶 强对偶_最优化系列 (3)—— 对偶问题和KKT条件

对偶问题和KKT条件

拉格朗日对偶函数

1.1 拉格朗日函数

我们讨论标准对偶问题：

我们用

表示

问题的最优值. 我们定义

问题的 拉格朗日函数为：

我们称

是不等式约束对应的拉格朗日乘子,

和

被称为对偶变量.

1.2 拉格朗日对偶函数

我们定义

如下:

由于当

固定时, 拉格朗日函数关于

是凸函数(线性函数), 所以

一定是凹函数.

1.3 最优值的下界

定理：对于任何

,

都是 最优值的一个下界：

这是因为对于任何一个可行解, 都有

和

, 所以我们有：

所以：

对于所有的可行解

取下确界就可以得到：

我们称满足

和

称为对偶可行解.

最小二乘法的对偶问题

The Lagrangian is:

Since

is convex respected to

, we can find the minimizing

form the optimality condition:

which yields

. Therefore dual function is:

which is a concave quadratic function.

Standard form LP

The Lagrangian function is:

Thus,

except when

, in which case it's

:

Two way partitioning problem

The Lagrangian function is:

Lagrangian dual function is:

Since

is dual feasible, then, this yields the bound on the optimal value

:

2. The Lagrange dual problem

Since each

with