支持向量机的核函数

原创 2016年05月31日 23:09:35

支持向量机是建立在统计学习理论基础之上的新一代机器学习算法,支持向量机的优势主要体现在解决线性不可分问题,他通过引入和函数,巧妙地解决了在高维空间中的内积运算,从而很好的解决了非线性分类问题。

构造出一个具有良好性能的SVM,核函数的选择是关键,核函数的选择包括两部分工作:一是核函数类型的选择,二是确定核函数类型后相关参数的选择。因此如何根据具体的数据选择恰当的核函数是SVM应用领域遇到的一个重大难题,也成为科研工作者所关注的焦点,即便如此,却依然没有得到具体的理论或方法来指导核函数的选取。

1、经常使用的核函数

核函数的定义并不困难,根据泛函的有关理论,只要一种函数K(xi,yi)满足Mercer条件,他就对应某一变换空间的内积。对于判断哪些函数是核函数到目前为止也取得了重要的突破,得到Mercer定理和一下常用的核函数类型:

(1)线性核函数

K ( x , x i ) = x  x i

(2)多项式核函数

K ( x , x i ) = ( ( x  x i ) + 1 ) d

(3)径向基核(RBF)

K ( x , x i ) = exp (   x  x i  2 σ 2 )

Gauss径向基函数则是局部性强的核函数,其外推能力随着参数σ的增大而减弱。多项式形式的核函数具有良好的全局性质。局部性较差。

(4)傅里叶核

K ( x , x i ) = 1  q 2 2 ( 1  2 q cos ( x  x i ) + q 2 )

(5)样条核

K ( x , x i ) = B 2 n + 1 ( x  x i )

(6)Sigmoid核函数

K ( x , x i ) = tanh ( κ ( x , x i )  δ )

采用Sigmoid函数作为核函数时,支持向量机实现的就是一种多层感知器神经网路,应用SVM方法,隐含层节点数目(他确定神经网络的结构)、隐含层节点对输入节点的权值都是在设计(训练)的过程中自动确定的。而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部最小值,也保证了他对于未知样本的良好的泛化性能而不会出现过学习现象。

2、核函数的选择

在选取核函数解决实际问题的时候,通常采用的方法有:一是利用专家的先验知识预先选定核函数;二是采用Cross-Validation方法,即在进行核函数选取的时候,分别使用不同的核函数,归纳误差最小的核函数就是最好的核函数,如针对傅里叶核、RBF核,结合信号处理问题中的函数回归问题,通过仿真实验,对比分析了在相同数据条件下,采用傅里叶核的SVM要比采用RBF核的SVM误差小很多。三是采用有Smits等人提出的混合核函数方法,该方法较之前两者是目前选取核函数的主流方法,也是关于如何构造核函数的又一开创性的工作,将不同的核函数结合起来后会有更好的特性,这是混合核函数方法的基本思想。

版权声明:本文为博主原创文章,未经博主允许不得转载。

支持向量机系列---为什么要引入核函数

前面的算法是针对线性可分的情况,当我们的样本线性不可分的时候怎么办呢?如果我们可以把线性不可分的问题转变成线性可分的问题该有多好!生活就是这么的美妙,我们可以将样本通过一个映射函数交它从原始空间投射到...
  • jiangjieqazwsx
  • jiangjieqazwsx
  • 2016年05月15日 21:33
  • 2583

支持向量机SVM核函数的选择(七)

支持向量机是建立在统计学习理论基础之上的新一代机器学习算法,支持向量机的优势主要体现在解决线性不可分问题,它通过引入核函数,巧妙地解决了在高维空间中的内积运算,从而很好地解决了非线性分类问题。要构造出...
  • BigBzheng
  • BigBzheng
  • 2016年04月04日 10:05
  • 9879

机器学习笔记09:支持向量机(二)-核函数(Kernels)

再吐槽一下CSDN的markdown编辑器,真的是烂,多少年了连个博客编辑器都做不好,数学公式一长,就卡的一笔。希望CSDN能出个离线的博客。 核函数是 SVM 的最重要的部分,我们可以通过设置...
  • Artprog
  • Artprog
  • 2016年05月28日 00:29
  • 2025

机器学习----支持向量机(核函数)

讲SVM扩展到非线性可分领域
  • Love_wanling
  • Love_wanling
  • 2017年04月06日 16:51
  • 481

选择支持向量机(SVM)核函数

SVM核函数通常有四种: 1. Linear 2. Polynomial 3. Gaussian (RBF) 4. Sigmoid/Logistic 不知为何,RBF最常用...
  • qq_33232071
  • qq_33232071
  • 2016年03月21日 19:16
  • 3525

理解支持向量机(二)核函数

由之前对核函数的定义(见统计学习方法定义7.6): 设χ是输入空间(欧氏空间或离散集合),Η为特征空间(希尔伯特空间),如果存在一个从χ到Η的映射 φ(x): χ→Η 使得对所有的x,z∈χ...
  • shijing_0214
  • shijing_0214
  • 2016年03月28日 20:15
  • 13418

公开课机器学习笔记(13)支持向量机三 核函数

2.2、核函数Kernel 2.2.1、特征空间的隐式映射:核函数     咱们首先给出核函数的来头:在上文中,我们已经了解到了SVM处理线性可分的情况,而对于非线性的情况,SVM 的处理方法...
  • BlueLoveyyt
  • BlueLoveyyt
  • 2015年03月28日 14:38
  • 2554

核函数与支持向量机入门

原文博客传送门:核函数与支持向量机入门。 理解支持向量机(Support Vector Machine, SVM)的角度很多。从分类问题入手,由最小化训练错误导出限制条件下的凸优化问题的解,进...
  • hengwei_vc
  • hengwei_vc
  • 2015年11月21日 23:25
  • 1333

支持向量机(四)-- 核函数

一、核函数的引入 问题1: SVM显然是线性分类器,但数据如果根本就线性不可分怎么办? 解决方案1: 数据在原始空间(称为输入空间)线性不可分,但是映射到高维空间(称为特征空间)后很可能就线性可分了...
  • u011067360
  • u011067360
  • 2014年05月10日 20:58
  • 2770

Kernel SVM (核函数支持向量机)

1. SVM 目标函数及约束条件SVM 的介绍及数学推导参考:我的CSDN,此处直接跳过,直接给出 SVM 的目标函数和约束条件:minw,b12wTws.t.yn(wTxn+b)≥1,n=1,..N...
  • llcchh012
  • llcchh012
  • 2015年07月13日 17:49
  • 5404
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:支持向量机的核函数
举报原因:
原因补充:

(最多只允许输入30个字)