关闭

支持向量机的核函数

标签: svm
418人阅读 评论(0) 收藏 举报
分类:

支持向量机是建立在统计学习理论基础之上的新一代机器学习算法,支持向量机的优势主要体现在解决线性不可分问题,他通过引入和函数,巧妙地解决了在高维空间中的内积运算,从而很好的解决了非线性分类问题。

构造出一个具有良好性能的SVM,核函数的选择是关键,核函数的选择包括两部分工作:一是核函数类型的选择,二是确定核函数类型后相关参数的选择。因此如何根据具体的数据选择恰当的核函数是SVM应用领域遇到的一个重大难题,也成为科研工作者所关注的焦点,即便如此,却依然没有得到具体的理论或方法来指导核函数的选取。

1、经常使用的核函数

核函数的定义并不困难,根据泛函的有关理论,只要一种函数K(xi,yi)满足Mercer条件,他就对应某一变换空间的内积。对于判断哪些函数是核函数到目前为止也取得了重要的突破,得到Mercer定理和一下常用的核函数类型:

(1)线性核函数

K ( x , x i ) = x  x i

(2)多项式核函数

K ( x , x i ) = ( ( x  x i ) + 1 ) d

(3)径向基核(RBF)

K ( x , x i ) = exp (   x  x i  2 σ 2 )

Gauss径向基函数则是局部性强的核函数,其外推能力随着参数σ的增大而减弱。多项式形式的核函数具有良好的全局性质。局部性较差。

(4)傅里叶核

K ( x , x i ) = 1  q 2 2 ( 1  2 q cos ( x  x i ) + q 2 )

(5)样条核

K ( x , x i ) = B 2 n + 1 ( x  x i )

(6)Sigmoid核函数

K ( x , x i ) = tanh ( κ ( x , x i )  δ )

采用Sigmoid函数作为核函数时,支持向量机实现的就是一种多层感知器神经网路,应用SVM方法,隐含层节点数目(他确定神经网络的结构)、隐含层节点对输入节点的权值都是在设计(训练)的过程中自动确定的。而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部最小值,也保证了他对于未知样本的良好的泛化性能而不会出现过学习现象。

2、核函数的选择

在选取核函数解决实际问题的时候,通常采用的方法有:一是利用专家的先验知识预先选定核函数;二是采用Cross-Validation方法,即在进行核函数选取的时候,分别使用不同的核函数,归纳误差最小的核函数就是最好的核函数,如针对傅里叶核、RBF核,结合信号处理问题中的函数回归问题,通过仿真实验,对比分析了在相同数据条件下,采用傅里叶核的SVM要比采用RBF核的SVM误差小很多。三是采用有Smits等人提出的混合核函数方法,该方法较之前两者是目前选取核函数的主流方法,也是关于如何构造核函数的又一开创性的工作,将不同的核函数结合起来后会有更好的特性,这是混合核函数方法的基本思想。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:22384次
    • 积分:455
    • 等级:
    • 排名:千里之外
    • 原创:23篇
    • 转载:1篇
    • 译文:0篇
    • 评论:3条
    文章分类
    最新评论