支持向量机入门系列-3：寻找最优值的下界

 

我们首先要引入包含不等式约束的优化问题，标准形式如下：

                                  （1）

f(x)是目标函数，而后面分别是一系列的不等式约束和等式约束。

 

我们首先明确几个概念：

可行点（可行解）：所有满足约束的点x。

可行域：所有可行点组成的点集，记为R。正式写出来就是：

最优点（最优解）：满足约束（也就是处于可行域之内）并且使目标函数达到最小的点，记为x*。

最优值：如果找到了x*，p* = f(x*) 就是最优值。

 

明确了这些概念以后我们就接着说下面的内容了。

 

与上节所说的只包含等式约束的情况类似，我们定义拉格朗日函数如下：

我们来看看，这与上节的拉格朗日函数有什么不同？多了一系列的不等式约束对应的项，所以也多了一系列的拉格朗日乘子。在这里需要强调的是，所有的λ_i必须是大于等于0的（也即是不等式约束对应的乘子要求大于等于0，我们记为λ≥0，意思是每个都λ_i≥0）。至于为什么要这样要求，后面自然可以看出来。

 

接下来我们定义一个重要的函数，我们定义拉格郎日对偶函数（the Lagrange dual function）如下：

                                 （2）

所以拉格朗日对偶函数就是把