拉格朗日乘数法
简介
简单概括一下拉格朗日乘子法用来解决具有约束的最值问题。
那么其中主要有两个比较重要的问题需要解决:
- 等式约束问题
- 不等式约束问题
等式约束问题
其中我认为最重要的其实就是等式约束问题,因为不等式最终也可以转化为这第一种问题,至于怎么转化我们后面再讲,现在我们想搞懂如何解决等式约束问题。
明确问题
上面就是我们需要解决的问题。
基础知识
首先我们明确一些前提条件,这也是我们求解的基础。
我们现在需要求解的是有约束的极值问题,那么我们回想一下当没有约束的时候我们如何求解。
其实也简单,偏导为0对吧:
同理,对于g(x1,x2)=0,我们可以得到:
其中x*表示极值点。
推导
得到了上面的基础条件之后我们就可以进行真正的推导了。
首先我们根据上面的两个导数式子得到:
左边都是相等的,我们合并之后就可以得到两个式子的分子之比=分母之比。
这时候我们就得到了拉格朗日乘子:
构造
然后我们构造如下方程
其实到这里我们已经知道了拉格朗日乘子法的灵魂,就是讲有约束的极值问题转换为无约束的极值问题。
求极值
然后其实就是常规思路了,求导,求极值,下面我们写的式子也叫KKT条件:
此时问题已经可解。
不等式约束问题
明确问题
不等式约束我们给出一个模板:
问题转化
我们可知一定存在一个x3使得:
这样的话我们就可以使用等式约束方法进行解决。
大家共勉~~