SVM中的Karush-Kuhn-Tucker条件和对偶问题

因为这里公式编辑不方便，为求严谨，写在word上截图，图片边缘缺失的字，下面补上。

需要满足的条件。

 线性组合。两个拉格朗日乘子不同的地方在于

条件也是KKT条件之一。

 可以直接套用二次规划。如果反过来，如何将对偶式对偶回原来的目标式？

 

附：关于拉格朗日对偶问题中对偶性的理解

首先说明本文讨论用的符号，拉格朗日函数： 

L(x,λ,ν)=f0(x)+∑λifi(x)+∑νihi(x)

对偶问题的对偶性体现

这个理解来自于斯坦福的课程——凸优化：

“我们注意到标准形式线性规划和不等式形式线性规划以及它们的对偶问题之间的有趣的对称性：标准形式线性规划的对偶问题是只含有不等式约束的线性规划问题，反之亦然。”
为了完整性，下面列出以上提到的两个线性规划问题。 
标准形式线性规划： 

不等式形式线性规划： 

该理解说明了对偶问题真的具有对偶性，但是并没有说明对偶问题具有对偶性的原因。接下来将说明这一点。

对偶问题具有对偶性的原因

这个理解同样来自于斯坦福的课程——机器学习：

一句话总结：调换对偶问题中对拉格朗日函数取最大化、最小化的顺序即可得到与原问题等价的优化问题。即，对偶问题是对拉格朗日函数先取最小化，再取最大化；而原问题则是对拉格朗日函数先取最大化，再取最小化。

为了对比两优化问题之间的对偶性，我先列出对偶问题的形式： 

gd(λ,ν)=minxL(x,λ,ν)d∗=maxλ≥0,νgd(λ,ν)

其中下标 d 表示对偶问题。考虑对换取最小化和最大化的顺序：

gp(x)=maxλ≥0,νL(x,λ,ν)p∗=minxgp(x)

其中下标 p 表示原问题。

定理：上式中 p∗ 就是原问题的最优解。
证明：当 x 不满足约束条件时：

1. fi(x)>0⇒gp(x)=∞
   只要对应的 λi 取无穷大即可。
2. hi(x)≠0⇒gp(x)=∞
   只要对应的 νi 取无穷大或无穷小即可。

当 x 满足约束条件时：
hi(x)=0 ，所以 ∑νihi(x)=0 ； fi(x)≤0 ，所以为了使 gp(x) 最大化，则必须有 ∑λifi(x)=0 ，因此 gp(x)=f0(x) 。总结得：

gp(x)={∞f0(x)x不满足约束条件else

因此 p∗ 为原问题最优解。以上，证毕。