拉格朗日乘子法和KKT条件

转载自:http://www.cnblogs.com/zhangchaoyang/articles/2726873.html#3592012


拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法,在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。前提是:只有当目标函数为凸函数时,使用这两种方法才保证求得的是最优解。

对于无约束最优化问题,有很多经典的求解方法,参见无约束最优化方法

拉格朗日乘子法

先来看拉格朗日乘子法是什么,再讲为什么。

     

这个问题转换为

             

其中   

,称为拉格朗日乘子。

下面看一下wikipedia上是如何解释拉格朗日乘子法的合理性的。

现有一个二维的优化问题:

        

我们可以画图来辅助思考。

绿线标出的是约束 

的点的轨迹。蓝线是 

的等高线。箭头表示斜率,和等高线的法线平行。

从图上可以直观地看到在最优解处,f和g的法线方向刚好相反(或者说叫梯度共线),即

      

而满足 

的点同时又是 

的解。

      

所以 

 

等价。

新方程 

在达到极值时与 相等,因为 达到极值时 

总等于零。

KKT条件

先看KKT条件是什么,再讲为什么。

             

其中     

        

=> 

 

        

 

            

上面的推导到此中断一下,我们看另外一个式子。

                           

这里的 

 都就向量,所以去掉了下标 。另外一些博友不明白上式中       是怎么推出来的,其实很简单,因为 与变量 

无关,所以这个等式就是成立的。

        

=>         

     

此时 

                  
此时 

联合 

, 我们得到         

亦即                     

=>           

我们把     

称为原问题     的对偶问题,上式表明当满足一定条件时原问题、对偶的解、以及   是相同的,且在最优解      。把   代入        ,由        ,所以     ,这说明   也是 的极值点,即        

最后总结一下:

                     

=>                                     

KKT条件是拉格朗日乘子法的泛化,如果我们把等式约束和不等式约束一并纳入进来则表现为:

                                              

=>                                     

注: 

都是向量。

        

表明 在极值点   处的梯度是各个          

梯度的线性组合。

原文来自:博客园(华夏35度)http://www.cnblogs.com/zhangchaoyang作者:Orisun

没有更多推荐了,返回首页