第22课：SVM——非线性 SVM 和核函数

非线性分类问题

遇到分类问题的时候，最理想的状态，当然是样本在向量空间中都是线性可分的，我们可以清晰无误地把它们分隔成不同的类别——线性可分 SVM。

如果实在不行，我们可以容忍少数不能被正确划分，只要大多数线性可分就好——线性 SVM。

可是，如果我们面对的分类问题，根本就是非线性的呢？比如像下面这样：

图中红色的点是正类样本，蓝色的点是负类样本。通过我们的观察可知，它们之间的界限是很分明的，用图中绿色的圈本来可以把它们完全分开。

很可惜，“圆圈”在二维空间里无法用线性函数表示，也就是说这些样本在二维空间里根本线性不可分。所以，无论是线性可分 SVM 还是线性 SVM，都无法在这些样本上良好工作。

这可怎么办呢？难道，这种情况我们就处理不了了？

并不是！

我们可以想个办法，让这些在二维空间中线性不可分的样本，在更高维度的空间里线性可分。

比如说，如果我们能把上图中那些正负类的样本映射到三维空间中，并且依据不同的类别给它们赋予不一样的高度值——$z$ 轴取值（就像下图这样），那么不就线性可分了嘛。