拉格朗日乘数法

在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。此方法的证明牵涉到偏微分，全微分或链法，从而找到能让设出的隐函数的微分为零的未知数的值。

拉格朗日乘数法是用来求条件极值的，极值问题有两类：

1、求函数在给定区间上的极值，对自变量没有其它要求，这种极值称为无条件极值。

2、对自变量有一些附加的约束条件限制下的极值，称为条件极值。例如给定椭球

例题一

求这个椭球的内接长方体的最大体积。

这个问题实际上就是条件极值问题，即在条件

下，求的最大值。

 

方法1：

 先根据条件消去，然后带入转化为无条件极值问题来处理。但是有时候这样做 解决不了问题。

方法2：

 拉格朗日乘数法了

 

求函数在满足下的条件极值，可以转化为函数

的无条件极值问题。如果是函数的驻点，则就是条件极值的嫌疑点。

 

故改题目可以写成：

对求偏导得到

联立前面三个方程得到和，带入第四个方程解之

      

 

带入解得最大体积为

      

拉格朗日乘数法对一般多元函数在多个附加条件下的条件极值问题也适用。

 

 

例题二 ：求离散分布的最大熵

分析：因为离散分布的熵表示如下

   而约束条件为

    要求函数的最大值，根据拉格朗日乘数法，设

   对所有的求偏导数，得到

     计算出这n个等式的微分，得到

这说明所有的都相等，最终解得

     

这说明所有的都相等，最终解得   因此，使用均匀分布可得到最大熵的值。

 

感谢：10张图讲清楚原理
https://blog.csdn.net/xo3ylAF9kGs/article/details/103692216