详解SVM模型——核函数是怎么回事

大家好，欢迎大家阅读周二机器学习专题，今天的这篇文章依然会讲SVM模型。

也许大家可能已经看腻了SVM模型了，觉得我是不是写不出新花样来，翻来覆去地炒冷饭。实际上也的确没什么新花样了，不出意外的话这是本专题最后一篇文章了。下周我们就要开始深度学习之旅了，我相信很多同学期待这一天已经很久了，实际上我也一样，因为这个专题里讲的大部分内容已经只在面试环节会用到，而我已经很久没有面试了。所以让我们收拾一下激动的心情，来把SVM最后剩下的一点内容讲完。

虽然只剩下最后一点内容了，但是今天的内容非常重要，可以说是SVM模型面试的核心终点。说到SVM可能对偶问题、拉格朗日面试官不一定会问你，可能他自己也不一定会，但是今天要讲的核函数是一定会问的。因为它表面上看起来是SVM最重要的内容，实际上我当时在刚转行准备面试的时候，SVM模型相关的内容一概不知，就知道核函数，所以我想大家应该能够体会到这里面的深意。

核函数究竟是什么

首先我们来介绍一下核函数的概念，可能大家会很好奇，明明我们已经把SVM模型的原理完整推导完了，怎么又冒出来一个核函数。实际上核函数非常精彩，它对于SVM也非常重要，因为它奠定了SVM的“江湖地位”，也可以说是SVM模型最大的特性。

在介绍核函数之前，我们先来看一个问题，这个问题在机器学习的历史上非常有名，叫做亦或问题。我们都知道，在二进制当中有一个操作叫做亦或操作。亦或操作其实很简单，就是如果两个数相同返回的结果就是0，否则就返回1。如果我们的数据是类似亦或组成的，就会是这样一个形状：

我们观察一下上面这个图，会发现一个问题，就是我们无论如何也不可能找到一条线把上面这个分类完成。因为一条线只能分出两个区域，但是上面这个图明显有四个区域。

那如果我们把上面的数据映射到更高的维度当中，上图是二维的图像，我们把它映射到三维当中，就可以使用一个平面将样本区分开了。也就是说通过一个映射函数，将样本从n维映射到n+1或者更高的维度，使得原本线性不可分的数据变成线性可分，这样我们就解决了一些原本不能解决的问题。

所以核函数是什么？是一系列函数的统称，这些函数的输入是样本x，输出是一个映射到更高维度的样本$x_t$。大部分能实现这一点的函数都可以认为是核函数（不完全准确，只是为了理解方便），当然一些稀奇古怪的函数虽然是核函数，但是对我们的价值可能并不大，所以我们也很少用，常用的核函数还是只有少数几种。

使用方法

现在我们已经知道核函数是什么了，那么它又该如何使用呢？

这个问题也不难，数学上比较困难的是表示问题，一个问题被描述以及表示清楚可能是最难的，当表示出来了之后把它解出来可能就要简单很多了。所以我们先来表示问题，用一个字母$\Phi$来表示核函数。前面已经说过了，核函数的输入是样本x，所以映射之后的样本就是$\Phi (x)$。

还记得我们上次推导到最后的公式吗？我们把它写出来，大家回顾一下。

KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ &\min_{\alpha}…

我们要做的就是把核函数代入进去，仅此而已，代入进去之后，就会得到：

KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ &\min_{\alpha}…

这里有一个小问题，我们前面说了函数$\Phi (x)$会把x映射到更高的维度。比如x本身是10维的，我们用了函数之后给映射到1000维了，当然它的线性不可分的问题可能解决了，但是这会带来另外一个问题，就是计算的复杂度增加了。因为原本$x_i^T{x}_j$本来只需要10次计算，但现在映射了之后，需要1000次计算才可以得到结果。这不符合我们想要白嫖不想花钱的心理，所以我们对核函数做了一些限制，只有可以白嫖的映射函数才被称为核函数。

我们把需要满足的条件写出来，其实很简单。我们把满足条件的核函数称为K，那么K应该满足：

K ( x i , x j ) = K ( x i T x j ) = Φ ( x i ) T Φ ( x j ) K(x_i, x_j) = K(x_i^T x_j) = \Phi(x_i)^T \Phi(x_j) K(x