(三)拉格朗日乘子法——对偶问题

给出不等式约束优化问题

$$\begin{aligned} &\min_x \ f(x) \\ &s.t. \ \ \ h_i(x) = 0 , \ i = 1,2,...,m \ \\ & \ \ \ \ \ \ \ \ \ \ g_j(x) \le 0, \ j = 1,2,...,n \end{aligned} \tag {1}$$
拉格朗日函数如下:
$$L(x,\alpha,\beta) =f(x) + \sum_{i=1}^m \alpha_i h_i(x) + \sum_{j=1}^n\beta_jg_j(x) \tag {2}$$
其中， $\beta_j \ge 0$。
根据以上可以得到一个重要结论：
$$f(x) =\max_{\alpha \beta; \beta_i\ge 0} L(x,\alpha,\beta) > L(x,\alpha,\beta) \tag{3}$$
公式(3)证明如下:
公式(2)中满足公式(1)中的约束时候，则等式第2项为0，第3项加上条件 $\beta_j \ge 0$有 $\sum_{j=1}^n\beta_jg_j(x) \leqslant 0$，该项等于0的时候， $L(x,\alpha,\beta)$取得最大值，此时 $L(x,\alpha,\beta) =f(x)$，所以公式(3)成立.
所以，约束都融合到了一起而得到如下的无约束的优化目标：
$$\min_x f(x) = \min_x \max_{\alpha,\beta; \beta_i\ge 0} L(x,\alpha,\beta)$$
即对偶问题.