拉格朗日对偶性

​ 拉格朗日对偶性

在解决最优化问题时,我们常常会用到拉格朗日对偶性将原始问题转换成对偶问题进行求解(这样我们就将约束最优化问题转换为无约束的最优化问题).例如最大熵模型,支持向量机.

原始问题如下:

假设f(x),c(x),h(x)均为实空间上的连续可微函数.

我们引入广义拉格朗日函数

看到这里,我们惊喜的发现高数做题做到吐的方法吗?

我们假设P表示原始问题:

我们得到一个关于x的方程.

那么我们可以轻松的看出,当存在某个 x ,如果 x 满足约束条件,则
,若x不满足约束条件(不满足c(x),h(x)中的任意一个)我们都将得到
,也就是说:

因此,如果我们考虑极小值问题,那么:

​

这样我们就将原始最优化问题,转化为广义拉格朗日函数的极大极小问题.

​ 对偶问题

我们将上述原始问题的最优解记为:

定义:

这样等式右边成为广义拉格朗日函数的极大极小值。

这样我们就得到原始问题的对偶问题：

为方便表示，定义对偶问题的最优解为：

这样，

这样就可以通过求解对偶问题的最优解来求解原始问题。