为什么要引入对偶呢?其原因有二:
1.解原始问题是困难的,而对偶问题相对容易。
2.通过对偶,可以自然引入核函数
对偶:
对偶是一个很宽泛的概念,是一种方法。常常求解对偶问题比原始问题要容易。如证明 成立与证明非A不成立是对偶。>=与<=是对偶,min与max是对偶等等。但要注意,对偶问题与原问题等价是有一定条件的!
图1
图1左中原始问题与对偶问题不等价,右图中原始问题与对偶问题等价。何时等价?我们将会在后面讲到。接下来先介绍约束最优化问题。
约束最优化问题:
在我们开始之前,我们先介绍约束最优化问题,这是最优化理论中一个非常重要的部分。其形式如下:
这是最为典型的约束最优化问题形式,在各个工程领域都会遇到,应用非常广泛,大家一定要熟悉。我们介绍如下定理,不加证明。
下面介绍凸规划,其具有一系列良好性质。
凸函数定义可百度,在此不再说明。
我们接下来说明直接求解原始问题理论上是可行的,即直接运用KKT条件即可,但实际运算上是困难的。
上一篇的最优化问题如下: