拉格朗日乘子法从0到1

如何理解拉格朗日乘子法

问题引出，与原点最短距离

假设有方程

$x^{2}y=3$

对应图像如下：

现在我们想求其上的点与原点的最短距离：

这里介绍一种解题思路。首先，与原点距离为$\alpha$的点全部在半径为$\alpha$的圆上：

那么，我们逐渐扩大圆的半径：

显然，第一次与 $x^{2}y=3$ 相交的点就是距离原点最近的点：

此时，圆和曲线相切，也就是在该点切线相同：

至此，我们分析出了：在极值点，圆与曲线相切！

问题延伸：等高线

为了继续解题，需要引入等高线。这些同心圆：

上图可看做是$f(x,y)=x^2+y^2$ 的等高线

根据梯度的性质，梯度向量：

$\nabla f=\left(\begin{array}{r}\frac{\partial f}{\partial x}\\ \frac{\partial f}{\partial y}\end{array}\right)=\left(\begin{array}{r}2x\\ 2y\end{array}\right)$

是等高线的法线：

另一个函数$g(x,y)=x^{2}y$ 的等高线是：

其中$x^{2}y=3$ 就是其中值为3的等高线：

因此，梯度向量：

$\nabla g=\left(\begin{array}{r}\frac{\partial g}{\partial x}\\ \frac{\partial g}{\partial y}\end{array}\right)=\left(\begin{array}{r}2xy\\ x^2\end{array}\right)$

和曲线$x^{2}y=3$ 是垂直关系：

梯度向量是等高线的法线，更准确地表述是：梯度与等高线的切线垂直！

拉格朗日乘子法

求解

根据之前的两个分析：

$\{\begin{array}{r}在极值点，圆与曲线相切\\ 梯度与等高线的切线垂直\end{array}$

综合可知，在相切点，圆的梯度向量和曲线的梯度向量平行：

也就是梯度向量平行，用数学符号表示为：

$\nabla f=\lambda \nabla g$ 其中 $\lambda$ 表示乘以合适的系数使方程左右相等。

还必须引入$x^{2}y=3$这个条件，否则这么多等高线，不知道指的是哪一根：

因此联立方程：

$\{\begin{array}{rl}& \nabla f=\lambda \nabla g\\ & x^{2}y=3\end{array}$

展开：

$\{\begin{array}{rl}& \left(\begin{array}{r}2x\\ 2y\end{array}\right)=\lambda \left(\begin{array}{r}2xy\\ x^2\end{array}\right)\\ & x^{2}y=3\end{array}$

$\{\begin{array}{rl}& 2x=\lambda 2xy\\ & 2y=\lambda x^2\\ & x^{2}y=3\end{array}$

三元二次方程，求解可得：

$\{\begin{array}{rl}& x\approx \pm 1.61\\ & y\approx 1.1\\ & \lambda \approx 0.87\end{array}$

定义

要求函数 f 在 g 约束下的机制这种问题可以表述为：

$\{\begin{array}{rl}& minf\\ & s.t.g=0\end{array}$

$s.t.$ 意思是subject to，服从于，约束于的意思。

可以列出方程组求解：

$\{\begin{array}{cc}& \nabla f=\lambda \nabla g\\ & g=0\end{array}$

用这个定义来翻译下刚才的例子，要求：

$\{\begin{array}{c}f(x,y)=x^2+y^2\\ g(x,y)=x^{2}y-3\end{array}$

求

$\{\begin{array}{c}minf(x,y)\\ s.t.g(x,y)=0\end{array}$

联立方程进行求解：

$\{\begin{array}{rl}& \nabla f(x,y)=\lambda \nabla g(x,y)\\ & g(x,y)=0\end{array}$

变形

这个定义还有种变形也比较常见，要求：

$\{\begin{array}{rl}& minf\\ & s.t.g=0\end{array}$

定义：

$F=f+\lambda g$

求解下面方程组即可得到答案：

$\left(\begin{array}{r}\\ \frac{\partial F}{\partial x}\\ \frac{\partial F}{\partial y}\\ \frac{\partial F}{\partial \lambda }\end{array}\right)=\left(\begin{array}{r}0\\ 0\\ 0\end{array}\right)$

把等式左边的偏导算出来就和上面的定义是一样的了：

$\left(\begin{array}{r}\frac{\partial F}{\partial x}\\ \frac{\partial F}{\partial y}\\ \frac{\partial F}{\partial \lambda }\end{array}\right)=\left(\begin{array}{rl}& 2x+\lambda 2xy\\ & 2y+\lambda x^2\\ & x^{2}y-3\end{array}\right)=\left(\begin{array}{r}0\\ 0\\ 0\end{array}\right)$

求解结果是：

$\{\begin{array}{rl}& x\approx \pm 1.61\\ & y\approx 1.1\\ & \lambda \approx -0.87\end{array}$

和上面的求解结果略有差异，$\lambda$ 是引入的，正负无关紧要，只需要将g(x,y)调整一下即可

$\{\begin{array}{c}f(x,y)=x^2+y^2\\ g(x,y)=3-x^{2}y\end{array}$