拉格朗日乘子法和KKT条件
这个问题转换为
其中
,称为拉格朗日乘子。
下面看一下wikipedia上是如何解释拉格朗日乘子法的合理性的。
现有一个二维的优化问题:
我们可以画图来辅助思考。
绿线标出的是约束
的点的轨迹。蓝线是的等高线。箭头表示斜率,和等高线的法线平行。
从图上可以直观地看到在最优解处,f和g的法线方向刚好相反(或者说叫梯度共线),即
的解。
等价。
新方程
在达到极值时与 相等,因为 达到极值时总等于零。
KKT条件
先看KKT条件是什么,再讲为什么。
其中
=>
上面的推导到此中断一下,我们看另外一个式子。
这里的
和 都就向量,所以去掉了下标 。另外一些博友不明白上式中 是怎么推出来的,其实很简单,因为 与变量无关,所以这个等式就是成立的。
又
=>此时
亦即
=>我们把
称为原问题 的对偶问题,上式表明当满足一定条件时原问题、对偶的解、以及 是相同的,且在最优解 处 。把 代入 得 ,由 得 ,所以 ,这说明 也是 的极值点,即。
最后总结一下:
=>
KKT条件是拉格朗日乘子法的泛化,如果我们把等式约束和不等式约束一并纳入进来则表现为:
=>
注:
都是向量。
表明 在极值点 处的梯度是各个 和 梯度的线性组合。