dual svm

SVM通过margin找到最佳的超平面，利用这一特性，我们可保证对于问题蕴含复杂的规则可以得到刻画，也能保证模型不会太复杂（d_vc可以得到控制），所以SVM很适合解决问题样本不是很多，但是用简单hypothesis无法刻画的问题！
在上一节推倒的基础SVM问题上，我们加上特征转化，现在我们需要优化的二次问题变数是转化后的特征数+1，我们希望优化的问题不依赖特征数，这将是本部分的主要内容。

目标是推导dual SVM，解决优化问题中对特征维数的依赖：

对于带有条件的最小化问题，我们可以利用lagrange multiplier将约束写入优化方程中，再利用一些数学推导，可得到原来问题不带约束的另一种表达，注意此时引入α要大于等于0（KKT中的一个限制）：

此时我们优化的问题既有最大化问题，又有最小化问题，接下来我们要使用一些手段消去其中一个优化问题！
通过数学上的推导，我们可以得到交换最小化和最大化的次序后与原来优化方程的关系，是原来问题的下限，