SVM（二）：拉格朗日对偶性

一、原始问题

考虑约束最优化问题：
称此约束最优化问题为原始最优化问题或原始问题。
引入广义拉格朗日函数：

考虑到x的函数：
下标P表示原始问题。
当x违反原始问题的约束条件时，就有该函数等于正无穷。因此该函数可表示为：

所以考虑极小化问题：
它与原始最优化问题等价，这样一来，就把原始最优化问题表示为广义拉格朗日函数的极大极小问题。定义原始问题的最优值为：

称为原始问题的值

二、对偶问题

定义：
再考虑极大化该问题，即：

该问题称为广义拉格朗日函数的极大极小问题。可将该问题表示为约束最优化问题：

称为原始问题的对偶问题，定义对偶问题的最优值

称为对偶问题的值。

三、原始问题与对偶问题的关系