svm常用核函数

SVM核函数的选择对于其性能的表现有至关重要的作用，尤其是针对那些线性不可分的数据，因此核函数的选择在SVM算法中就显得至关重要。对于核技巧我们知道，其目的是希望通过将输入空间内线性不可分的数据映射到一个高纬的特征空间内使得数据在特征空间内是可分的，我们定义这种映射为$\phi(x)$，那么我们就可以把求解约束最优化问题变为

$$\begin{matrix} min_\alpha & \frac12\sum_{i = 1}^N\sum_{j = 1}^N\alpha_i \alpha_jy_iy_j(\phi_i\cdot\phi_j) - \sum_{i=1}^N\alpha_i \\ s.t.& \sum_{i=1}^N\alpha_iy_i=0 \\ \alpha_i \geq 0, &i = 1,2,...,N \end{matrix}$$
但是由于从输入空间到特征空间的这种映射会使得维度发生爆炸式的增长，因此上述约束问题中内积 $\phi_i\cdot\phi_j$的运算会非常的大以至于无法承受，因此通常我们会构造一个核函数 $$\kappa(x_i, x_j) = \phi(x_i)\cdot\phi(x_j)$$ 从而避免了在特征空间内的运算，只需要在输入空间内就可以进行特征空间的内积运算。通过上面的描述我们知道要想构造核函数 $\kappa$，我们首先要确定输入空间到特征空间的映射，但是如果想要知道输入空间到映射空间的映射，我们需要明确输入空间内数据的分布情况，但大多数情况下，我们并不知道自己所处理的数据的具体分布，故一般很难构造出完全符合输入空间的核函数，因此我们常用如下几种常用的核函数来代替自己构造核函数：

• 线性核函数
  $$\kappa(x,x_i) = x \cdot x_i$$ 线性核，主要用于线性可分的情况，我们可以看到特征空间到输入空间的维度是一样的，其参数少速度快，对于线性可分数据，其分类效果很理想，因此我们通常首先尝试用线性核函数来做分类，看看效果如何，如果不行再换别的
• 多项式核函数
  $$\kappa(x, x_i) = ((x\cdot x_i) + 1)^d$$ 多项式核函数可以实现将低维的输入空间映射到高纬的特征空间，但是多项式核函数的参数多，当多项式的阶数比较高的时候，核矩阵的元素值将趋于无穷大或者无穷小，计算复杂度会大到无法计算。
• 高斯（RBF）核函数
  $$\kappa(x, x_i) = exp(-\frac{||x - x_i||^2}{\delta^2})$$ 高斯径向基函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内，该核函数是应用最广的一个，无论大样本还是小样本都有比较好的性能，而且其相对于多项式核函数参数要少，因此大多数情况下在不知道用什么核函数的时候，优先使用高斯核函数。
• sigmoid核函数
  $$\kappa(x, x_i) = tanh(\eta<x, x_i> + \theta)$$ 采用sigmoid核函数，支持向量机实现的就是一种多层神经网络。

因此，在选用核函数的时候，如果我们对我们的数据有一定的先验知识，就利用先验来选择符合数据分布的核函数；如果不知道的话，通常使用交叉验证的方法，来试用不同的核函数，误差最下的即为效果最好的核函数，或者也可以将多个核函数结合起来，形成混合核函数。在吴恩达的课上，也曾经给出过一系列的选择核函数的方法：

• 如果特征的数量大到和样本数量差不多，则选用LR或者线性核的SVM；
• 如果特征的数量小，样本的数量正常，则选用SVM+高斯核函数；
• 如果特征的数量小，而样本的数量很大，则需要手工添加一些特征从而变成第一种情况。