SVM算法的相关问题

1.为什么要通过求解与原问题等价的对偶问题(dual problem)来得到原问题的解？

原因主要有：(1)对偶问题更容易求解；(2)在对偶问题下可以很容易引入核函数，进而扩展到线性不可分的场景。

详见：理解SVM的三层境界

2.Lagrange Duality与Wolfe Duality的区别何在？

常见的对偶问题Lagrange dual problem，但也存在其他的对偶问题，如Wolfe Dual Problem以及Fenchel Dual Problem。

在RankSVM的paper中出现的Wolfe Duality要求原问题的目标函数以及约束中的函数都是可导的。根据KKT构建约束条件，得到的对偶问题的约束为非凸函数，所以Wolfe Duality仅满足弱对偶性。其与Lagrange对偶的关系可以用下面的图来表示：

原问题：min_x f(x) s.t. gj(x)<=0

Lagrange对偶问题：max inf(f(x)-sum_j uj*gj(x)) s.t. uj&