拉格朗日对偶性(Lagrange duality)

有时候原问题 (Primal Problem) 不太好解，但是对偶问题 (Dual Problem) 却很好解，我们就可以通过求解对偶问题来迂回地解答原问题。

通过下面两步，构造拉格朗日函数为：
1.引入 松弛变量 / KKT乘子μj(μj≥0)，把不等式约束条件转化为等式约束条件。
2.入拉格朗日乘子λk把等式约束转化为无约束优化问题

定义拉格朗日对偶函数为拉格朗日函数把λ,μ当作常数，关于x取最小值得到的函数：

它一定是凹函数。
那么为什么拉格朗日对偶函数一定是凹函数？
证明： http://mp.blog.csdn.net/mdeditor
原问题是最小化f(x)，显然f(x)>=L
假设f∗是满足原问题约束下的最优解，那么：

g(λ,μ)是原问题最优解的下界。
找下界当然是要找最大的下界，所以导出拉格朗日对偶问题：

由于g(λ,μ)一定是凹函数，所以拉格朗日对偶问题一定是凸优化问题。
原问题的关于x的最小化转化为了对偶问题关于λ,μ的最大化。

交换以后的新问题是原始问题的对偶问题，这个新问题的最优值用d* 来表示。而且d*<=p*。我们关心的是d=p的时候，这才是我们要的解。需要什么条件才能让d=p呢？
首先必须满足这个优化问题是凸优化问题。
其次，需要满足KKT条件。