约束最值问题的拉格朗日对偶性

最新推荐文章于 2022-10-26 15:50:22 发布

VIP文章墨岚❤️

最新推荐文章于 2022-10-26 15:50:22 发布

阅读量2.1k

点赞数 2

分类专栏：机器学习算法

本文链接：https://blog.csdn.net/LY_ysys629/article/details/72886386

版权

拉格朗日对偶性为我们提供了一条间接的解决带有约束的最优化问题。本篇博客将会简单易于理解的方式描述原始问题、对偶问题以及他们之间的关系。

1 原始问题

假设 $f(x)$ 、 $c_i(x)$ 、 $h_j(x)$ 是定义在 $R^n$ 的连续可微函数，考虑如下约束最优化问题：

min x \in R n f (x) s . t . c i (x) \leq 0, i = 1, 2, . . ., k, h j (x) = 0, j = 1, 2, . . ., l .

$\begin{equation} \begin{array}{lr} \qquad \qquad \min\limits_{x \in R^n} f(x) & \\ s.t. \qquad c_i(x) \le 0 ,\quad i=1,2,...,k, & \\ \qquad \qquad h_j(x) = 0 ,\quad j=1,2,...,l.\\ \end{array} \end{equation}$

该问题的拉格朗日函数表示为：

L (x, α, β) = f (x) + \sum i = 1 k α i c i (x) + \sum j = 1 l β j h j (x) (1)

$\begin{equation} L(x,\alpha,\beta)=f(x)+\sum\limits_{i=1}^{k}\alpha_i c_i(x)+\sum\limits_{j=1}^{l}\beta_j h_j(x) \qquad (1) \end{equation}$

其中， $\alpha _i \ge 0$
令

θ P (x) = max α, β, α \geq 0 L (x, α, β) (2)

$\begin{equation} \theta_P(x)=\max\limits_{\alpha,\beta,\alpha\ge0}L(x,\alpha,\beta) \qquad (2) \end{equation}$
注意：

θP(x) $\theta_P(x)$ 是关于

x $x$ 的函数
则有下式存在：

θ P (x) = {f (x), x 满 足 原 始 问 题 的 所 有 约 束 + i n f ， 其 他

$\begin{equation} \theta_P(x)= \left\{ \begin{array}{ll} f(x),\qquad x 满足原始问题的所有约束& \\ +inf，\qquad其他 & \end{array} \right. \end{equation}$
为什么会出现上式？
考虑如下两种情况：
1）不等式约束条件或者等式约束条件之一不满足，我们都可以找到一个

α $\alpha$ 或者