统计学习方法学习笔记-原始问题与对偶问题

拉格朗日函数

原始问题

如果只是求

我们很容易想到对f(w) 进行求导来解， 但是现在有约束条件，我们想到在高数中学习过带条件的极值该如何求，它是通过定义拉格朗日函数来求的。

构造拉格朗日函数为

考虑 x的函数

如果存在一个x，x不满足约束条件，即存在 i 使 c_i(x)>0 或者存在j使 h_j(x) 不等于0 ，那么当 c_i(x)>0时，我们可以使a_i->+ ∞ ,或者h_j(x) 不等于0时使β_jh_j(x)->+ ∞ 将其余的a_i ,β_j均取为0 那么就有
而如果所有的x都满足约束条件那

因为
在x满足约束条件的情况下 ，下面这一项为0
而所有的c_i(x) 都小于 0 ，所有的 a_i 都大于0
这一项是负数，我们通过调整a_i来尽量使这一项趋近于0,那这时 L(x,a,β) 最大 等于 f(x).

因此

所以如果考虑极小化问题

它是与原始最优化问题 等价的，即它们有相同的解。

所以原始问题就转换为了

对偶问题

原始问题与对偶问题的关系

定理 若原始问题和对偶问题都有最优值 ，那么

证明如下
即
由于原始问题和对偶问题均有最优值，则
所以

由上面我们可以得到原始问题的最优值 大于等于对偶问题的最优值。但是我们要通过对偶问题来求解原始问题，就必须使得原始问题的最优值与对偶问题的最优值相等，于是可以得出下面的推论

设 x* 和 α* 和 β* 分别是原始问题 和对偶问题的可行解，并且 d* = p* ， 则 x* 和 α* 和β* 分别是原始问题和对偶问题的最优解

当原始问题和对偶问题的最优值相等： d* = p* 时，可以用求解对偶问题来求解原始问题。那么什么情况时 p* =d*？

下面介绍两个定理

定理 C.2 考虑原始问题和对偶问题 。假设函数 f(x) 和 c_i(x) 是凸函数， h_j(x) 是仿射函数;并且假设不等式约束 c_i(x)是严格可行的， 即存在 x， 对所有 i 有 c_i(x)<0 ， 则存在 x* ，a* ， β * ， 使 x* 是原始问题的解， α*， ß* 是 对偶问题的解， 并且 p* =d* = L(x* , a* ,β*)

定理 C.3 对原始问题 和对偶问题，假设函数 f(x) 和 c_i(x)是凸函数，h_j(x)是仿射函数，并且不等式约束c_i(x) 是严格可行的，则 x* 和 α*，ß* 分别是原始问题和对偶问题的解的充分必要条件是 x* ，a* ，ß* 满足下面的 Karush-Kuhn-Thcker (KKT) 条件: