支持向量机的核函数

原创 2016年05月31日 23:09:35

支持向量机是建立在统计学习理论基础之上的新一代机器学习算法,支持向量机的优势主要体现在解决线性不可分问题,他通过引入和函数,巧妙地解决了在高维空间中的内积运算,从而很好的解决了非线性分类问题。

构造出一个具有良好性能的SVM,核函数的选择是关键,核函数的选择包括两部分工作:一是核函数类型的选择,二是确定核函数类型后相关参数的选择。因此如何根据具体的数据选择恰当的核函数是SVM应用领域遇到的一个重大难题,也成为科研工作者所关注的焦点,即便如此,却依然没有得到具体的理论或方法来指导核函数的选取。

1、经常使用的核函数

核函数的定义并不困难,根据泛函的有关理论,只要一种函数K(xi,yi)满足Mercer条件,他就对应某一变换空间的内积。对于判断哪些函数是核函数到目前为止也取得了重要的突破,得到Mercer定理和一下常用的核函数类型:

(1)线性核函数

K ( x , x i ) = x  x i

(2)多项式核函数

K ( x , x i ) = ( ( x  x i ) + 1 ) d

(3)径向基核(RBF)

K ( x , x i ) = exp (   x  x i  2 σ 2 )

Gauss径向基函数则是局部性强的核函数,其外推能力随着参数σ的增大而减弱。多项式形式的核函数具有良好的全局性质。局部性较差。

(4)傅里叶核

K ( x , x i ) = 1  q 2 2 ( 1  2 q cos ( x  x i ) + q 2 )

(5)样条核

K ( x , x i ) = B 2 n + 1 ( x  x i )

(6)Sigmoid核函数

K ( x , x i ) = tanh ( κ ( x , x i )  δ )

采用Sigmoid函数作为核函数时,支持向量机实现的就是一种多层感知器神经网路,应用SVM方法,隐含层节点数目(他确定神经网络的结构)、隐含层节点对输入节点的权值都是在设计(训练)的过程中自动确定的。而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部最小值,也保证了他对于未知样本的良好的泛化性能而不会出现过学习现象。

2、核函数的选择

在选取核函数解决实际问题的时候,通常采用的方法有:一是利用专家的先验知识预先选定核函数;二是采用Cross-Validation方法,即在进行核函数选取的时候,分别使用不同的核函数,归纳误差最小的核函数就是最好的核函数,如针对傅里叶核、RBF核,结合信号处理问题中的函数回归问题,通过仿真实验,对比分析了在相同数据条件下,采用傅里叶核的SVM要比采用RBF核的SVM误差小很多。三是采用有Smits等人提出的混合核函数方法,该方法较之前两者是目前选取核函数的主流方法,也是关于如何构造核函数的又一开创性的工作,将不同的核函数结合起来后会有更好的特性,这是混合核函数方法的基本思想。

版权声明:本文为博主原创文章,未经博主允许不得转载。

支持向量机常用核函数

  • 2017年11月14日 11:30
  • 1KB
  • 下载

【机器学习】支持向量机(一)——最大间隔法与核函数

支持向量机(Support Vector Machines, SVM)是一个非常出色的二类分类模型,被成功应用于很多机器学习应用中。这里的“机”实质上是指算法。...

支持向量机的修正核函数

  • 2014年05月07日 19:31
  • 240KB
  • 下载

选择支持向量机(SVM)核函数

SVM核函数通常有四种: 1. Linear 2. Polynomial 3. Gaussian (RBF) 4. Sigmoid/Logistic 不知为何,RBF最常用...

Kernel SVM (核函数支持向量机)

1. SVM 目标函数及约束条件SVM 的介绍及数学推导参考:我的CSDN,此处直接跳过,直接给出 SVM 的目标函数和约束条件:minw,b12wTws.t.yn(wTxn+b)≥1,n=1,..N...

SVM(三),支持向量机,线性不可分和核函数

 http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495788.html

SVM支持向量机的高维映射与核函数-记录毕业论文2

上一篇博客将了在数据集线性可分的情况下的支持向量机,这篇主要记录如何通过映射到高维解决线性不可分的数据集和如何通过核函数减少内积计算量的理论思想。 [5]径向基函数的核函数:http...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:支持向量机的核函数
举报原因:
原因补充:

(最多只允许输入30个字)