引言
在上一小节中,我们介绍,用二次规划的方法来求解支持向量机的问题。如果用非线性的特征转化的方式,可以在一个更复杂的Z空间里做二次规划。这种思想是希望通过最大间隔的方式来控制模型的复杂度,通过特征转换来实现复杂的边界。
但是这引入了新的问题:在进行特征转换之后,在新的高维空间中,求解二次规划问题就会变得很困难。甚至在无限大的维度上求解最佳化的问题就变得不可能了。
所以,这一小节,我们要解答的是,通过非常复杂的特征转换,甚至无限维的特征转换,该如何移除在Z空间上对高维度的依赖。
对偶问题
对于原始的SVM问题,进行特征转换之后,问题有d+1个变量(d为Z空间的维度),N个限制条件。我们要转化为一个对等的问题,在这种情况下,问题只有N个变量,N+1个限制条件。
所以,不管是变量的数量也好,条件的数量也好,都只有和数据量有关系,和转换到什么维度的空间中没有关系。变量的数量不会随着特征转换有所变化。
第一步:引入拉格朗日函数
SVM和正则化的思想有些类似,是求解一个有条件的最佳化问题。
由上面这个图可以知道,左侧是原始的