如何理解拉格朗日乘子法?

1 与原点的最短距离

假如有方程:

x^2y=3

图像是这个样子滴:

现在我们想求其上的点与原点的最短距离:

这里介绍一种解题思路。首先,与原点距离为a 的点全部在半径为a 的圆上:

那么,我们逐渐扩大圆的半径:

显然,第一次与x^2y=3 相交的点就是距离原点最近的点:

此时,圆和曲线相切,也就是在该点切线相同:

至此,我们分析出了:

在极值点,圆与曲线相切

2 等高线

为了继续解题,需要引入等高线。这些同心圆:

可以看作函数f(x,y)=x^2+y^2 的等高线:

根据梯度的性质(关于梯度可以查看如何通俗地理解梯度?),梯度向量:

\nabla f=\begin{pmatrix}\frac{\partial f}{\partial x}\\\frac{\partial f}{\partial y}\end{pmatrix}=\begin{pmatrix}2x\\2y\end{pmatrix}

是等高线的法线:

另外一个函数g(x,y)=x^2y 的等高线为:

之前的曲线x^2y=3 就是其中值为3的等高线:

,因此,梯度向量:

\nabla g=\begin{pmatrix}\frac{\partial g}{\partial x}\\\frac{\partial g}{\partial y}\end{pmatrix}=\begin{pmatrix}2xy\\x^2\end{pmatrix}

也垂直于等高线x^2y=3 :

梯度向量是等高线的法线,更准确地表述是:

梯度与等高线的切线垂直

3 拉格朗日乘子法

3.1 求解

根据之前的两个分析:

\begin{cases}     在极值点,圆与曲线相切\\     \\     梯度与等高线的切线垂直 \end{cases}

综合可知,在相切点,圆的梯度向量和曲线的梯度向量平行:

也就是梯度向量平行,用数学符号表示为:

\nabla f=\lambda\nabla g

还必须引入x^2y=3 这个条件,否则这么多等高线,不知道指的是哪一根:

因此联立方程:

\begin{cases}    \nabla f=\lambda\nabla g\\    \\    x^2y=3\end{cases}

求一下试试:

\begin{cases}    \begin{pmatrix}2x\\2y\end{pmatrix}=\lambda\begin{pmatrix}2xy\\x^2\end{pmatrix}\\    \\    x^2y=3\end{cases}\implies\begin{cases}    x\approx\pm 1.61\\    \\    y\approx 1.1\\    \\    \lambda\approx 0.87\end{cases}

这就是拉格朗日乘子法。

3.2 定义

要求函数f 在g 约束下的极值这种问题可以表示为:

minmax\ f\\    s.t.\ g=0

s.t. 意思是subject to,服从于,约束于的意思。

可以列出方程组进行求解:

\begin{cases}    \nabla f=\lambda\nabla g\\    \\    g=0\end{cases}

用这个定义来翻译下刚才的例子,要求:

令:

\begin{cases}    f(x,y)=x^2+y^2\\    \\    g(x,y)=x^2y-3\end{cases}

求:

min\ f(x,y)\\    s.t.\ g(x,y)=0

联立方程进行求解:

\begin{cases}    \nabla f=\lambda\nabla g\\    \\    g(x,y)=0\end{cases}

3.3 变形

这个定义还有种变形也比较常见,要求:

minmax\ f\\    s.t.\ g=0

定义:

F=f+\lambda g

求解下面方程组即可得到答案:

\begin{pmatrix}\frac{F}{\partial x}\\\frac{F}{\partial y}\\\frac{F}{\partial \lambda}\end{pmatrix}=\begin{pmatrix}0\\0\\0\end{pmatrix}

把等式左边的偏导算出来就和上面的定义是一样的了。

3.4 多个约束条件

如果增加一个约束条件呢?比如说:

x-y-3=0

求:

min\ x^2+y^2\\    s.t.\         \begin{cases}            x^2y-3=0\\            x-y-3=0        \end{cases}

从图上看约束条件是这样的:

很显然所求的距离是这样的:

那这三者的法线又有什么关系呢?x^2+y^2 的法线是x^2y-3 和x-y-3 的法线的线性组合:

假设:

\begin{cases}    f(x,y)=x^2+y^2\\    \\    g(x,y)=x^2y-3\\    \\    h(x,y)=x-y-3\end{cases}

那么线性组合就表示为:

\nabla f=\lambda\nabla g+\mu\nabla h

联立方程:

\begin{cases}    \nabla f=\lambda\nabla g+\mu\nabla h\\    \\    g(x,y)=0\\    \\    h(x,y)=0\end{cases}

即可求解。

往更高纬度走的话,多约束条件的情况下,问题变为了g_1,g_2 围成的曲线C 和f 相切,直观上看\nabla f 必然在\nabla g_1,\nabla g_2 张成的空间中:

这点的严格性这里就不证明了。

文章最新版本在(有可能会有后续更新):如何通俗地理解拉格朗日乘子法?

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术工厂 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读