所以在非线性 SVM 中,核函数的选择就是影响 SVM 最大的变量。
最常用的核函数有线性核、多项式核、高斯核、拉普拉斯核、sigmoid 核,或者是这些核函数的组合
这些函数的区别在于映射方式的不同。通过这些核函数,我们就可以把样本空间投射到新的高维空间中。当然软间隔和核函数的提出,都是为了方便我们对上面超平面公式中的 w* 和 b* 进行求解,从而得到最大分类间隔的超平面。
这四种函数代表不同的映射方式,:
线性核函数,是在数据线性可分的情况下使用的,运算速度快,效果好。不足在于它不能处理线性不可分的数据。
多项式核函数可以将数据从低维空间映射到高维空间,但参数比较多,计算量大。
高斯核函数同样可以将样本映射到高维空间,但相比于多项式核函数来说所需的参数比较少,通常性能不错,所以是默认使用的核函数。
选用 sigmoid 核函数时,SVM 实现的是多层神经网络。
sigmoid函数表示为:
sigmoid函数图像为:
sigmoid的输入为实数,输出在0和1之间,对一定范围内的数据很敏感。
softmax函数表示为:
它的实质就是将一个K维的任意实数向量映射成另一个K维的实数向量,其中向量中的每个元素取值都介于0,1之间,并且和为1。