什么是拉格朗日乘子法?
在数学最优问题中,拉格朗日乘子法(Lagrange Multiplier,以数学家拉格朗日命名)是一种寻找变量受一个或多个条件限制的多元函数的极值的方法。
这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题,其变量不受任何约束。
这种方法引入了一种新的标量未知数,即拉格朗日乘数:约束方程的梯度(gradient)的线性组合里每个向量的系数。
如何使用拉格朗日乘子法?
在机器学习的过程中,我们经常遇到在有限制的情况下,最大化表达式的问题。如
此时我们就可以构造
![012b621084b468f0d82fc211569db806.png](https://i-blog.csdnimg.cn/blog_migrate/fe1fc1c9c255ed609c8ae81304a3b572.png)
![748d89625563a5af704e95422081bd87.png](https://i-blog.csdnimg.cn/blog_migrate/7a93d70933b98ce84217e40f2d7517f8.png)
![cab31e8cca1f0e1903e95f9f8f44ea6b.png](https://i-blog.csdnimg.cn/blog_migrate/cbad0c30e198aa2cfbecedee66fbb580.png)