拉格朗日乘子法

先引入百度百科的定义。

在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。

示例：

设给定二元函数z=ƒ(x,y)和约束条件φ(x,y)=0，为寻找z=ƒ(x,y)在约束条件下的极值点，先做拉格朗日函数，其中其中λ为参数

令F(x,y,λ)对x和y和λ的一阶偏导数等于零，即

由上述方程组解出x,y及λ，如此求得的(x,y)，就是函数z=ƒ(x,y)在约束条件φ(x,y)=0下的可能极值点。若这样的点只有一个，由实际问题可直接确定此即所求的点。

接下来讲一下为什么F(x,y,λ)一阶导数等于0的解(x,y)就是ƒ(x,y)在约束φ(x,y)=0下的可能极值点

参考这样一个示例

                                        

先看一下原问题：求z=ƒ(x,y)在约束条件φ(x,y)=0下的极值点，我们假设f(x,y)就是一座山的高度，ƒ(x,y)=C为山的等高线族，曲线L为约束条件，可以发现，当在约束条件的范围中找ƒ(x,y)的极值点时，可能的极值点必定为ƒ(x,y)与φ(x,y)相切的点，即M1,M2,M3，其他非相切的点一定不是极值点。

因为两曲线在切点处必有公法线，所以目标函数等值线在点处法向量与约束条件在点处法向量平行，即

也就是说，存在实数，使下式成立