拉格朗日对偶，KKT，SVM

       机器学习通常转化为数学规划问题，拉格朗日对偶是求解带有约束的凸规划的一个重要的技巧。这篇文章从先从理论的角度，介绍拉格朗日对偶的基本思想，在从支持向量机的推导上，应用上面提及的定理。

1，问题定义

       对于上面的问题，原问题是一般的数学规划，此时并不要求目标函数和约束中为凸函数。对于任意的数学规划，如问题P，都会存在一个和其息息相关的数学规划D,D的构造试图引入u,v，将约束加入到目标函数中，从而使得约束条件减少到只有的x属于X。其中D 问题成为原问题的拉格朗日对偶问题。注意在D问题中，有两个层面的优化，里面的优化是针对于x,外面的针对对偶变量u,v。

为什么要建立这么形式的D问题呢？

http://blog.csdn.net/wangkr111/article/details/2117080 这篇博客说明这个问题。

2.解存在的条件定理

       下面的强对偶定理，说明了只有在特殊的f,g为凸函数，h为仿射函数，X为凸集时，上面定义的原问题和对偶问题最优解之间的关系。定理说明了，满足上面条件的凸规划，其拉格朗日对偶函数，两者的最优解相等。定理告诉我们使用拉格朗日技巧的一个界限，界限是指当不满足上面的约束时，使用拉格朗日对偶并不能求解原问题，而从对偶求出的解仅仅作为原问题的上界存在（弱对偶定理）。

                  

上面的条件是一个比较宽泛的条件，例如像SVM的二次优化问题，通过建立拉格朗日对偶函数，对其而不是原问题进行求解，可以将原来的带有N个约束的最优化问题，转变为简单的约束的二次规划问题。从而进行求解。关于这一点会在SVM推导中详细说明这一点。（SVM将原先ill-posed的二次规划转变为简单的二次规划，并使用的快速的算法SMO求解。）

3.最优解与KKT Condition之间的关系。

      KKT Condition是带有约束最优化的一个重要的条件。利用KKT Condition可以在求解出的拉格朗日对偶函数最优解后，来求出原题的最优解。下面的定理说明在f,g为凸函数，h为仿射函数，X为凸集时，KKT Condition和拉格朗日函数的最优解之间存在一一对应的关系。

4. SVM的推导：