【机器学习基础】对偶支持向量机

引言

在上一小节中，我们介绍，用二次规划的方法来求解支持向量机的问题。如果用非线性的特征转化的方式，可以在一个更复杂的Z空间里做二次规划。这种思想是希望通过最大间隔的方式来控制模型的复杂度，通过特征转换来实现复杂的边界。
但是这引入了新的问题：在进行特征转换之后，在新的高维空间中，求解二次规划问题就会变得很困难。甚至在无限大的维度上求解最佳化的问题就变得不可能了。
所以，这一小节，我们要解答的是，通过非常复杂的特征转换，甚至无限维的特征转换，该如何移除在Z空间上对高维度的依赖。

对偶问题

对于原始的SVM问题，进行特征转换之后，问题有d+1个变量(d为Z空间的维度)，N个限制条件。我们要转化为一个对等的问题，在这种情况下，问题只有N个变量，N+1个限制条件。
所以，不管是变量的数量也好，条件的数量也好，都只有和数据量有关系，和转换到什么维度的空间中没有关系。变量的数量不会随着特征转换有所变化。

第一步：引入拉格朗日函数

SVM和正则化的思想有些类似，是求解一个有条件的最佳化问题。

由上面这个图可以知道，左侧是原始的