拉格朗日乘子法(Lagrange Multipliers)学习笔记

这篇文章作为自己学习拉格朗日乘子法的一些学习笔记，因为自己很早就接触过拉格朗日乘子法，但是当时完全不知道原理是啥，随着自己接触的东西越来越多，很多涉及到优化相关的技术需要使用到拉格朗日乘子法，因此又重新去看了关于拉格朗日乘子法相关的一些内容，特别是一些国外的视频讲解(下面所有的视频链接需要好好上网)，觉得有些收获，因此写下这篇笔记。

1 利用拉格朗日乘子法来解决几个题目

首先，先不去探究拉格朗日乘子法中的原理，首先利用拉格朗日乘子法来解决几道题目，来直观感受一下拉格朗日法的流程，这里贴几道视频中的截图。

1.1 题目1

目标函数为 $f(x,y,z)=3x^2+y^2-2z^2$，约束为$3x+2y-8z=-50$，求目标函数的最小值和最大值。

用拉格朗日法解决这种最值问题一般形式为给定 $f(x,y,z)$，以及$g(x,y,z)=k$, 然后使用拉格朗日乘子法，引入拉格朗日乘子$\lambda$,然后求解关于$x,y,z,\lambda$四个参数的四个方程就行了，四个方程一般形式为

$f_x=\lambda g_x$
$f_y=\lambda g_y$
$f_z=\lambda g_z$
$g(x,y,z)=k$
四个方程，四个未知数，因此可以进行求解。求解出来的结果就是最大值和最小值的候选点，然后将具体的值进行计算和比较即可得出函数的最小值和最大值，以下给出了具体的几个问题作为例子，可以进行阅读熟悉解法。

1.2 题目2

本题和第一题很类似，直接用差不多相同的方法进行计算即可

1.3 题目3

本题具体也不复杂，就是在求解方程组时形式略有不同，但是仍然比较简单

1.4 题目4

本题中有两个约束条件，因此类比于一个约束条件的解法，如下图所示，问题就转换成了求解含有5个变量的5个方程

2 拉格朗日法几何原理解释

所以用拉格朗日乘子法求解这种最值问题步骤上就和上面一样，按照相应的规则进行求解即可。但是我相信每个人在第一次接触这种方法时都会迷惑于为什么这样弄一弄结果就出来了，因此下面一节给出这种方法背后的一个直观理解，看文字可能仍然很难理解，因此有能力的伙伴们可以去找相关的视频去看，以下这几个视频说的很不错。当然也可以尝试看看笔者下面的阐述，很多地方或许不精准，但是能够给出一个大致的直观感受。
Lagrange multipliers, using tangency to solve constrained optimization
Lagrange Multipliers | Geometric Meaning & Full Example
Understanding Lagrange Multipliers Visually

首先如下图所示，在本例中$f(x,y)=x^{2}y$，约束条件为$x^2+y^2=1$

此时我们这样考虑，考虑$f(x,y)=c$，不同的$c$导致这个曲线的位置不同，直观理解就是这里$f(x,y)=x^{2}y$，那么$x^{2}y=1$和$x^{2}y=2$都是二维平面上的曲线，可能就是位置不同之类的，但是整体上很相似。因此考虑这样一个$c$不断变化的过程，那这样的一个曲线就在不断的移动。那么在这样的一个变化过程中，拉格朗日乘子法的核心思想就是，当$f(x,y)$在满足约束时，$f(x,y)$的最值在这个移动的曲线和$g(x,y)=x^2+y^2=1$这条曲线相切时取得，在相切的这一点，$f(x,y)$和$g(x,y)$的梯度则是同方向的。因此这就是$f_x=\lambda g_x$和$f_y=\lambda g_y$的由来

这里再贴上另外一组视频中的截图，供笔者自己进行复习查阅，再次安利，这些视频讲的真的很好，可以的话，各位伙伴可以移步去进行学习！