拉格朗日乘数法(Lagrange multiplier)

先摆公式，再说推导。

求二元函数$z=f(x,y)$在条件$\phi (x,y)=0$下的极值。

(1)作Lagrange函数

$$F(x,y,\lambda )=f(x,y)+\lambda \phi (x,y);$$

(2)求$F(x,y,\lambda )$的驻点$(x_0,y_0,{\lambda }_0)$
$$\begin{array}{rl}{F}_x& =f_x(x,y)+\lambda \cdot {\phi }_x(x,y)=0;\\ F_y& =f_y(x,y)+\lambda \cdot {\phi }_y(x,y)=0;\\ F_{\lambda }& =\phi (x,y)=0\end{array}$$
(3)$(x_0,y_0)$便是可能的条件极值点

拉格朗日乘数法所得的极点会包含原问题的所有极值点，但并不保证每个极值点都是原问题的极值点。(维基百科）

---

例如，目标函数:$z=xy$，约束条件：$x+y=1$

解： 作Lagrange函数

$$F(x,y,\lambda )=xy+\lambda (x+y-1)$$

求F的驻点：
$$\begin{array}{rl}{F}_x& =y+\lambda =0\\ F_y& =x+\lambda =0\\ F_{\lambda }& =x+y-1=0\\ ⟹& x=\frac{1}{2};y=\frac{1}{2};\lambda =-\frac{1}{2}\end{array}$$

---

公式推导

条件极值： 在一定约束条件下（一般为方程）的极值就称为条件极值。

条件极值的几何解释：

约束条件$\phi (x,y)=0$是指，在曲线$\phi (x,y)$上取一点，使得$f(x,y)$有极值（由图可知为极大值）

条件极值的必要条件：

函数$z=f(x,y)$在条件$\phi (x,y)=0$，下的极值的必要条件是什么？

先看一个比较直观的图

图中黑色曲线为$z=f(x,y)$的等值线，红色曲线为约束条件$\phi (x,y)=0$，那么函数$f(x,y)$在哪里取得条件最大值？

推导：

设$z_0=f(x_0,y_0)$是$z=f(x,y)$在条件$\phi (x,y)=0$下的条件极值。设$y=y(x)$是约束条件$\phi (x,y)=0$所确定的隐函数。

则：$z=f(x,y(x))$此时就变成了一个一元函数，且在$x=x_0$处取得极值。

(1)由一元函数极值的必要条件可知：（若$f(x)$在$x=x_0$处取得极值，且$f^{\prime }(x_0)$存在，则有$f^{\prime }(x_0)=0$）

所以有：
$$\begin{array}{rl}\frac{dz}{dx}& =f_x\cdot 1+f_y\cdot \frac{dy}{dx}=0\\ ⟹& f_x(x_0,y_0)+f_y(x_0,y_0)\cdot y^{\prime }(x_0)=0\\ ⟹& y^{\prime }(x_0)=-\frac{f_x(x_0,y_0)}{f_y(x_0,y_0)}\end{array}\text{\hspace{1em}(1)}$$

（2）由隐函数求导公式可知
$$\begin{array}{rl}{y}^{\prime }(x_0)& =-\frac{{\phi }_x(x_0,y_0)}{{\phi }_y(x_0,y_0)}\\ & \\ 由(1)(2)⟹& \frac{f_x(x_0,y_0)}{f_y(x_0,y_0)}=\frac{{\phi }_x(x_0,y_0)}{{\phi }_y(x_0,y_0)}\\ & \\ ⟹& \frac{f_x(x_0,y_0)}{{\phi }_x(x_0,y_0)}=\frac{f_y(x_0,y_0)}{{\phi }_y(x_0,y_0)}\end{array}\text{\hspace{1em}(2)}$$
那么此时我们可以理解成 { f x ( x 0 , y 0 ) , f y ( x 0 , y 0 ) } / / { φ x ( x 0 , y 0 ) , φ y ( x 0 , y 0 ) } \{f_x(x_0,y_0),f_y(x_0,y_0)\}//\{\varphi_x( x_0,y_0),\varphi_y( x_0,y_0)\} {fx​(x0​,y0​),fy​(x0​,y0​)}//{φx​(x0​,y0​),φy​(x0​,y0​)}，即两个向量平行

$$⟹\Delta f(x_0,y_0)//\Delta \phi (x_0,y_0)$$

我们知道某一点的梯度就是，该点所在平面对应的一个法向量。（知道的可以略过这点，不知道的接着往下看）

---

证明：

设二元函数$F(x,y)=0$,则其在点$x=x_0$处的斜率$k=-\frac{F_x(x_0,y_0)}{F_y(x_0,y_0)}$.设$A(x_1,y_1),B(x_2,y_2)$为该切线上的两个点，则k又可以写成$k=\frac{y_2-y_1}{x_2-x_1}$
$$\begin{array}{rl}⟹& \overrightarrow{AB}=(x_2-x_1,y_2-y_1)\\ & \\ ⟹& \frac{1}{x_2-x_1}\cdot \overrightarrow{AB}=(1,\frac{y_2-y_1}{x_2-x_1})\\ & \\ ⟹& \lambda \cdot \overrightarrow{AB}=(1,k)=(1,-\frac{F_x(x_0,y_0)}{F_y(x_0,y_0)})\\ & \\ ⟹& \lambda \cdot F_y(x_0,y_0)\cdot \overrightarrow{AB}=(F_y(x_0,y_0),-F_x(x_0,y_0))\\ & \\ ⟹& \mu \cdot \overrightarrow{AB}=(F_y(x_0,y_0),-F_x(x_0,y_0))\end{array}$$
于是我们可以得到的结论就是，若直线斜率为k,则他的一个方向向量为$\vec{a}=(1,k)$

我们又知道，$F(x,y)=0$在点$(x_0,y_0)$处，所在平面（曲面在某一点的切平面）的法向量，垂直于该点所在平面的任意直线，当然也就包括切于该点的所有切线。于是该点法线的斜率$k^{\prime }=-\frac{1}{k}$。
$$\begin{array}{rl}法线的一个方向向量为\vec{a}& =(1,-\frac{1}{k})=(1,\frac{F_y(x_0,y_0)}{F_x(x_0,y_0)})\\ & \\ \vec{a}\cdot F_x(x_0,y_0)& =(F_x(x_0,y_0),F_y(x_0,y_0))\\ & \end{array}$$
所以取$\vec{a}=(F_x(x_0,y_0),F_y(x_0,y_0))=\Delta F(x_0,y_0)$, $F_x(x_0,y_0)$为常数，不影响。

证毕

---

由$\Delta f(x_0,y_0)//\Delta \phi (x_0,y_0)$可知：

∃ λ 0 , 使 得 Δ f ( x 0 , y 0 ) = − λ 0 ⋅ Δ φ ( x 0 , y 0 )    ⟹    Δ f ( x 0 , y 0 ) + λ 0 ⋅ Δ φ ( x 0 , y 0 ) = 0 ⃗    ⟹    Δ { f ( x 0 , y 0 ) + λ 0 ⋅ φ ( x 0 , y 0 ) } = 0 ⃗    ⟹    Δ ( f + λ 0 φ ) = 0 ⃗ \begin{aligned} \exists \lambda_0,使得&\Delta f(x_0,y_0)=-\lambda_0\cdot\Delta \varphi(x_0,y_0) \\ \\ \implies&\Delta f(x_0,y_0)+\lambda_0\cdot\Delta \varphi(x_0,y_0) =\vec{0}\\ \\ \implies&\Delta \{f(x_0,y_0)+\lambda_0\cdot\varphi(x_0,y_0)\} =\vec{0}\\ \\ \implies&\Delta(f+\lambda_0\varphi)=\vec{0} \end{aligned} ∃λ0​,使得⟹⟹⟹​Δf(x0​,y0​)=−λ0​⋅Δφ(x0​,y0​)Δf(x0​,y0​)+λ0​⋅Δφ(x0​,y0​)=0 Δ{f(x0​,y0​)+λ0​⋅φ(x0​,y0​)}=0 Δ(f+λ0​φ)=0 ​

此时我们可以用最原始的定义来求解上面的例题，即：
$$\begin{array}{rl}& \Delta z(x,y)+\lambda \cdot \Delta \phi (x,y)=\vec{0}\\ ⟹& (y,x)+\lambda (1,1)=\vec{0}\text{(分别求梯度)}\\ ⟹& y+\lambda =0,x+\lambda =0\\ ⟹& x=y=-\lambda \\ x+y=1,⟹& x=y=\frac{1}{2},\lambda =-\frac{1}{2}\end{array}$$
由此我们可以得到的结论是：

令函数$F(x,y,\lambda )=f(x,y)+\lambda \phi (x,y)$，若$\Delta F(x_0,y_0,{\lambda }_0)=\vec{0}$，则$(x_0,y_0,{\lambda }_0)$是函数$F(x,y,\lambda )$的驻点，通过如下步骤，就可以就得驻点的值。
$$\begin{array}{r}\{\begin{array}{l}{F}_x=0\\ F_y=0\\ F_{\lambda }=0\end{array}\end{array}$$

$F(x,y,\lambda )$称为拉格朗日函数，$\lambda$称为拉格朗日乘数(Lagrange multiplier)

---

另外，由下图也可以直观的看出，在约束条件下，$z=xy{e}^{-(x^2+y^2)}$取得极值。且此时，$z=xy{e}^{-(x^2+y^2)}$在点P处的法向量与$xy=1$在P处的法向量平行。

更正：等值线$xy{e}^{-(x^2+y^2)}=z_0$在$(x_0,y_0)$（条件极值）处的法向量平行于$xy-1=0$在$(x_0,y_0)$处的法向量。

易知 $z=xy{e}^{-(x^2+y^2)}$ 在$(1,1,e^{-2})$处取得极值另一个为（$(-1,-1,e^{-2})$)，则等值线$xy{e}^{-(x^2+y^2)}=e^{-2}$ 处的法向量为 $(-e^{-2},-e^{-2})$；且$xy-1=0$在$(1,1)$处的法向量为$(1,1)$，显而可见两者平行。

从等高线图来看：

总结一句话，拉格朗日乘除法就是根据在P点出两个法向量平行这个条件推导出来的。

感谢徐小湛老师的《高等数学》视频