SVM的升维解决线性不可分

很多的情况下样本是线性不可分的，这时可以通过升维的方法来解决。

假设在数轴上给出一些数据，其中[-2,2]区间内的点被标记为分类1，其余的被标记为分类0，这时用一个分段函数是不能顺利的分类的，这时可以构造一个函数，让其在[-2,2]的区间内这个函数大于0，而其他的部分小于0，例如：

$$f(x)=\left\{\begin{matrix} 1 & -x^2+4 > 0 \\ 0 & -x^2+4 \leqslant 0 \end{matrix}\right.$$

$y= -x^2+4$的图形如下：

这实际上是$y= -x^2+4$这个函数在$y=0(x轴)$这条直线上的投影，也即是二维的投影可以顺利分类一维上的不可分的样本。

同样有二维空间中的如果样本向量v距离原点(0，0)的距离为1以内分类被标记为0，其余都是1，同样是在二维的情况下是线性不可分得，此时可以构造一个这样的函数：

$$f(x,y)=\left\{\begin{matrix} 1 & x^2+y^2 \geqslant 1 \\ 0 & x^2+y^2 < 1 \end{matrix}\right.$$
即， $z=x^2+y^2$，此时通过三维到二维的映射可以分类二维上的不可分。

$x^2+y^2-1$的图形如下：

可以看到，在一维空间上解决线性不可分问题是把函数映射到二维空间中，使得一维空间上的分类边界是二维空间上的分类函数在一维空间上的投影；而二维空间上解决线性不可分问题是把函数映射到三维空间中，使得二维空间上的分类边界是三维空间上的分类函数在一维空间上的投影，以此类推。

这个构造的过程SVM有通用的方法可以解决，就是使用核函数进行构造。几个常用的核函数如线性核函数、多项式核函数、径向基核函数、高斯核函数等。

核函数的目的很明确：就是在当前维度空间中的样本线性不可分的就一律映射到高维中去，在高维空间中找到超平面，得到超平面方程。而在更高维的超平面上的方程实际上并没有增加更多的维度变量。例如，在研究二维空间上的向量分类问题时，经过核函数映射，最后得到的超平面变成了二维空间中的曲线（但同时也是三维空间中的一次方程）。