从SVM中的对偶问题讲起

在学习SVM时，讲到后面的求解过程时提到了对偶问题，那么什么是对偶问题呢，我们以二维空间为例进行简要的说明。我们知道，对于线性可分的支持向量机来说，其求解目标就是：

也就是在正确分类的条件下（在这里假设了SVM是在做二分类，label是+1和-1，这也就是s.t.语句）  取最小时，和b的值。

其实这个就是带有不等式约束的优化问题。既然有带不等式约束的优化问题，那么一定也有带等式约束的优化问题和没有约束条件的优化问题。

无约束条件下的优化问题【零梯度条件】

举例来讲，这就是高中数学中简单的求极值问题，在没有约束条件的情况下，这种无约束条件的优化问题最终是转化为求导数为零（梯度为零）时所对应的自变量的取值。那么梯度为零就是局部极小值点满足的必要条件。所以这里的优化问题就转化为求这个梯度为零的问题（通过画梯度等高线更加形象直观）。换句话来说，求这个零梯度点就