约束优化问题（SVM预备知识）

1.带约束条件的最优化问题称为原问题p

2.通过拉格朗日乘子法可以将原问题变为无约束形式

3.通常原问题难求解，需要构造其对偶问题d

4.可以证明，原问题的解大于等于对偶问题的解，这个称为弱对偶性

5.原问题的解等于对偶问题的解称为强对偶性

6.强对偶性的一个充分不必要条件是凸优化问题加上Slater条件

7.SVM是带线性约束的凸二次规划问题，所以，其强对偶关系成立

8.原问题具备对偶关系等价于KKT条件

9.KKT条件一共五个三类：可行条件，梯度为0，松弛互补

SVM（支持向量机）是解决二分类问题的一个经典算法。要全部掌握其算法细节需要下一定的功夫，这里面涉及拉格朗日对偶算法、KKT条件、SMO算法、核技巧等知识，所以，为了透彻理解该算法，在正式介绍之前，先补充相关的数学知识，主要是约束优化问题。

注：凸优化已经在之前的文章详细介绍过，不太理解的读者可以复习回顾凸优化问题

原问题与对偶问题

对于如下带约束条件的最优化问题称为原问题：

利用拉格朗日乘子法求解上面问题，构造广义拉格朗日函数：

利用该函数可以把带约束的原问题变为无约束的原问题，记为p：