广义拉格朗日函数的理解

为了求如下约束最优问题：

引入广义拉格朗日函数：

先需要证明：

网上有的博文对（4）式的证明不容易看懂，我证明如下：

首先将  记作函数。

1）如果，由于可以取任意大，因此这时函数不可能取得最小值。因此函数只有在时才可能取得最小值。

2）如果， =，因此（4）式两边等价。

第二步来证明：   (1)

由于原始问题和对偶问题均有最优值，所以可分别假设

 

那么，对于任意下式成立，

 (2)

对于任意下式成立，

  (3)

所以，

  (4)

因此，(1)式成立。