支持向量机（二）

为什么要引入对偶呢？其原因有二：

1.解原始问题是困难的，而对偶问题相对容易。

2.通过对偶，可以自然引入核函数

 

对偶：

对偶是一个很宽泛的概念，是一种方法。常常求解对偶问题比原始问题要容易。如证明 成立与证明非A不成立是对偶。>=与<=是对偶，min与max是对偶等等。但要注意，对偶问题与原问题等价是有一定条件的！

                                                                               图1

 

图1左中原始问题与对偶问题不等价，右图中原始问题与对偶问题等价。何时等价？我们将会在后面讲到。接下来先介绍约束最优化问题。

约束最优化问题：

         在我们开始之前，我们先介绍约束最优化问题，这是最优化理论中一个非常重要的部分。其形式如下：

     

这是最为典型的约束最优化问题形式，在各个工程领域都会遇到，应用非常广泛，大家一定要熟悉。我们介绍如下定理，不加证明。

 

 

下面介绍凸规划，其具有一系列良好性质。 

凸函数定义可百度，在此不再说明。

 

我们接下来说明直接求解原始问题理论上是可行的，即直接运用KKT条件即可，但实际运算上是困难的。

上一篇的最优化问题如下：