拉格朗日乘数法的理解

参考视频：https://youtu.be/5A39Ht9Wcu0

拉格朗日乘数法(Lagrange Multipliers)是一种用于在约束条件下寻找多变量函数最大值和最小值的技巧。与单变量微积分中通过导数为零来寻找极值不同，拉格朗日乘数法利用约束条件的梯度与目标函数梯度的平行性来确定极值点。具体而言，约束条件可以表示为一个函数等于常数的形式，通过将梯度相等的条件转化为方程组，可以找到目标函数在约束边界上的极值。这种方法避免了参数化曲线的复杂性，使得问题更为简化。

在多变量函数中求解最大值和最小值时，除了平坦点（即偏导数都为零的驻点）之外，还需要检查边界，因为极值可能出现在边界上（即约束条件所限制的变量取值范围）。这个过程比单变量函数的边界检查更复杂，因为边界是一个包含无限多个点的曲线（单变量函数只需要检查两个端点）。

如上图，需要在约束条件下的曲面上（红色边界）寻找极值，一种方法是将边界曲线参数化为单变量函数，再对其求极值，但参数化的过程很复杂。因此拉格朗日乘数法寻找一个不需要对曲线进行导数计算的标准(criterion)，以确定最大或最小值。通过这种方法，我们可以避免参数化曲线的复杂性，直接找到边界条件下的极值点，从而有效处理多变量优化问题，简化计算过程。

约束条件在拉格朗日乘数法中扮演关键角色，它必须以某种表达式的形式存在，比如g(x, y) = k，这样才能在定义的范围内寻找极值。对于给定的约束条件g(x, y) = k，可以将其视为一条等高线，如下图，函数g(x, y)某点处的梯度与该点所在等高线垂直。原理见：直观理解梯度，以及偏导数、方向导数和法向量等 - shine-lee - 博客园 (cnblogs.com)

有了上述的背景条件，我们可以利用原始表面函数 f、约束方程的函数 g 和常数 k，通过拉格朗日乘数法来确定边界曲线上的局部最大值或最小值。需要注意的是，约束条件g(x, y) = k是函数g的曲面上的水平曲线，与目标函数f并没有关系。

由于约束条件的存在，在对函数f求max、min时，变量x,y被限制在边界曲线上（因此也可以通过约束条件下参数x和y的关系将边界曲线参数化为单变量函数），这条边界曲线并不是约束条件，而是函数f的曲面与函数g的曲面的交线，这条交线在xOy平面上的投影是约束条件g(x, y) = k，即约束曲线是水平曲线（等高线）。在寻找 f 的最值时，可以通过观察边界曲线的平坦点来确定（相当于将边界曲线参数化为单变量函数的驻点），这个平坦点的特征是 f 的梯度与约束曲线的梯度垂直（即边界曲线在平坦点处与约束曲线平行，都是水平的，因此该点处梯度方向相同），进而找出潜在的极值。

（在平坦点找到local max，在该点处，函数f的梯度与约束曲线g的梯度平行）

通过上述条件，能够将本来没有关联的函数f和函数g联系起来（即在边界曲线上取得最值点时f与g的梯度平行），通过建立梯度相等的方程组，可以有效地解决实际问题并找到函数在边界上的最大或最小值。

拉格朗日乘数的作用是作为标量倍数使约束函数的梯度与目标函数的梯度在最值点相等，解决方程组后的候选解将指示函数在边界曲线上的最大和最小值。对于实际应用，找到这些极值通常比计算拉格朗日乘数更为重要。