拉格朗日对偶性

1.原始问题

假设，，是定义在上的连续可微函数，约束最优化问题(原始问题)如下：

       

           

 

引进广义拉格朗日函数：

  

，是拉格朗日乘子。

 

关于的函数：

           

所以：

     

原始问题就是广义拉格朗日的极小极大问题(与原问题等价)，是关于变量的函数。

定义原始问题的最优值：

2.对偶问题

定义：

   

极大化：

 

       

 形成广义拉格朗日的极大极小问题（对偶问题），是关于变量的函数。

定义对偶问题的最优值：

3.原始问题与对偶问题的关系

定理1：

推论1：

设分别是原始问题和对偶问题的可行解，并且，则分别是原始问题和对偶问题的最优解。这说明可以用解对偶问题替代解原始问题。

定理2：

考虑原始问题和对偶问题，假设

（1）函数和是凸函数

（2）是仿射函数

（3）假设约束严格成立

则存在，使得是原始问题的解，是对偶问题的解，并且：

   

定理3：

在定理2的（1）（2）（3）条件下，分别是原始问题和对偶问题的解的充分必要条件是满足KKT条件：

总结：

1.原始问题可以写成广义拉格朗日的极小极大问题，其对偶问题是广义拉格朗日的极大极小问题，问题间的转换实质是函数自变量的转换。

2.如果满足定理2，则可以通过解对偶问题得到原始问题的解，因为有时候解对偶问题比解原始问题容易。

3.在定理二成立的情况下，定理3给出了寻找最优解的具体方法，即套用KKT条件，解方程组。

参考:《统计学习方法》 李航