机器学习自学笔记 3

支持向量机2

低维到高维的映射

在支持向量机中，低维情况下会不可避免地遇到训练样本线性不可分的情况，为了解决这个问题，人们往往会将低维转换到高维上，这样在低维上还是线性不可分的训练样本就变得线性可分了。有这样一个定理：在一个M维空间上随机取N个训练样本随机对每个样本赋予标签，假设这些训练样本线性可分的概率为P，当M趋于无穷大时，P=1.从直观上来理解，当特征空间的维度M增加时，待估计参数的维度也会增加，整个算法的自由度便增加，这样一来，在低维上线性不可分的训练样本在高维上就变的线性可分了。

举一个简单的例子：

在这样一个简单的异或问题中，训练样本在二维中显然是线性不可分的，我们不能直接找到一条直线将样本给分开来，即：

而倘若我们构造一个二维到五维的映射：

由此，x = [a,b]的转置就可以转换如下图：

此时，设参数w,b：

这样一来，这个在二维上还线性不可分的训练样本便在五维上线性可分了：

核函数

通过从低维到高维的映射，我们可以让线性不可分变得线性可分，那么该如何去研究这个映射关系呢？这里便有了核函数的定义，我们会通过核函数K去具体研究映射的形式。

支持向量机的创始人提出：不需要知道映射的具体形式，相反，只要得到核函数如下：

那么便可以通过一定的手段去得到预测样本的类别信息，从而完成对训练样本的预测。核函数K是一个常数。举两个例子：
核函数以及低维到高维的映射之间的相互关系：从映射去推测出核函数K

已知核函数求映射：

在知道了核函数之后，通过X便可以求出映射：

核函数K和映射是一一对应的。需要注意的是，核函数K一定要满足以下条件才能够分解为两个映射内积的形式：

也就是说，必须满足以下两个条件：核函数K在任意两个输入变量的情况下不受输入变量的顺序影响，即交换位置不会改变核函数的值；对于任何一组实数 Ci、Cj（i=1到N），以及任何 N，将这些实数与函数 K 对应的输出相乘并求和的结果总是非负的，换句话说，无论如何选择和组合这些系数 Ci、Cj，它们与 K 函数的乘积之和都不会小于零。