拉格朗日乘数法

最新推荐文章于 2023-09-25 21:17:28 发布

我本逍遥Kurt

最新推荐文章于 2023-09-25 21:17:28 发布

阅读量2.8k

点赞数

文章标签：算法数学

本文链接：https://blog.csdn.net/wobenxiaoyao_/article/details/120324349

版权

01 基本概念

在数学最优问题中，拉格朗日乘数法是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。

02 推导过程

2.1 单一约束条件

$min f(x,y)$ $s.t. y=g(x)$

由题目得出拉格朗日函数：

$L(x,y)=f(x,y)+\lambda (y-g(x))$

令函数梯度值为0:

$\bigtriangledown L(x,y)=0$

展开上式得：

$\frac{\partial f(x,y)}{\partial x}+\lambda \frac{\partial (y-g(x))}{\partial x}=0$

$\frac{\partial f(x,y)}{\partial y}+\lambda \frac{\partial (y-g(x))}{\partial y}=0$

随后进行方程求解，给出拉格朗日乘数 $\lambda$

2.2 多个约束

在2.1中我们讨论了在变量有单一约束条件的情况下，当约束条件为多个时我们的讨论如下：

$minf(x,y),x\epsilon R^{n}$

$s.t. g_{i}(\mathbf{x})=\mathbf{a}_{\mathbf{i}}^{\mathbf{T}}\cdot \mathbf{x}+b\leq 0$ 其中i=1,2,3,...m， $a_{i}\epsilon R^{n},b_{i}\epsilon R$

由题目得出拉格朗日函数：

$L(x,\lambda )=f(x)+\sum \lambda _{i}g_{i}(x)$

令函数梯度值为0:

$\bigtriangledown L(x,\lambda )=0$

展开上式得：

$-\bigtriangledown f(x)=\sum \lambda _{i}\cdot \bigtriangledown g_{i}(x)$

我们将 $f(x,y)$ 以及约束条件 $g_{i}(x)$ 呈现在笛卡尔坐标系，如图所示：

图片来自https://www.bilibili.com/video/BV1HP4y1Y79e?from=search&seid=10996967881602855172&spm_id_from=333.337.0.0

我们不妨设约束条件 $g_{i}(x)$ 中i=5，即有5个约束条件。在5个约束条件中， $g_{\alpha }(x)$ 和 $g_{\beta }(x)$ 的交点为 $x^{*}$ ，不难看出 $g_{\alpha }(x)$ 和 $g_{\beta }(x)$ 对目标函数起作用，其余的三个约束条件对目标函数不起作用。

故，我们可以得到不起作用约束函数的 $\lambda _{i}=0$ ；起作用约束函数 $g_{\alpha }(x)$ 和 $g_{\beta }(x)$ 的 $\lambda _{i}> 0$ 。

综上，我们可以归纳为：所有 $\lambda _{i}\geq 0$ ，如果 $\lambda _{i}=0$ ，那么对应的约束条件 $g_{i}(x)$ 是松弛的；如果 $\lambda _{i}> 0$ ，那么对应的约束条件 $g_{i}(x)$ 是紧致的。

03 拉格朗日乘数法的推广

将拉格朗⽇乘数法的技术推⼴到多个等式限制和不等式限制的情形是很直接的。

不妨设我们希望的限制条件：

$s.t.$ $g_{i}(x)=0,j=1,...,J$

以及

$h^{_{k}}(x)\geq 0,k=1,...,K$

求 $max f(x)$

引入

$L(x,{\lambda _{j}},{\mu _{k}})=f(x)+\sum_{j=1}^{J}\lambda _{j}g_{j}(x)+\sum_{k=1}^{K}\mu _{k}h_{k}(x)$

其中 $\mu _{k}\geq 0$ ,推⼴到有限制条件下的泛函的导数的情况也与此类似。

参考资料

01 “拉格朗日对偶问题”如何直观理解？“KKT条件” “Slater条件” “凸优化”打包理解_哔哩哔哩_bilibili

02 模式识别与机器学习马春鹏 2014.10.26

我本逍遥Kurt

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
拉格朗日乘数法

01 基本概念在数学最优问题中，拉格朗日乘数法是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。02 推导过程求的最小值，并且由题目得出拉格朗日函数：令函数梯度值为0:展开上式：参考资料01“拉格朗日对偶问题”如何直观理解？“KKT条件” “Slater条件” “凸优化”打包理解_哔哩哔哩_bilibili...
复制链接

扫一扫