【机器学习基础】核支持向量机

引言

在上一小节中，我们介绍了SVM的对偶形式，该形式也可以使用二次规划的方式来求解。
这个对偶形式告诉我们SVM背后的一些集合意义，再者，有了这个对偶问题，我们要求解的难度和转换的高维空间的维度好像没有关系。
在这一小节中，我们就之前未解决的问题继续探讨，使用核技巧的方式高效求解SVM。

核技巧(Kernel Trick)

在上一小节二次规划问题中的Q矩阵的求解中，我们要计算Z空间的两个向量的内积，这个计算可以看做是先将向量x进行空间转换得到高维向量z，然后再做内积。但是，如果我们可以将这两步合起来，使得计算的更快一点。

下面，我们以二次转换作为例子：


这样的转换和内积的计算复杂度从一步一步计算的O(d^2)变成了O(d)。

这样，我们就可以使用核函数来作内积的计算，用下面的几个式子代替原来的形式：