核函数方法简介

转载 2011年01月23日 16:34:00
核函数方法简介
(1)核函数发展历史
    早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域,但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老,Mercer定理可以追溯到1909年,再生核希尔伯特空间(ReproducingKernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。

(2)核函数方法原理
    根据模式识别理论,低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分,但是如果直接采用这种技术在高维空间进行分类或回归,则存在确定非线性映射函数的形式和参数、特征空间维数等问题,而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。
    设x,z∈X,X属于R(n)空间,非线性函数Φ实现输入间X到特征空间F的映射,其中F属于R(m),n<<m。根据核函数技术有:

       K(x,z) =<Φ(x),Φ(z) >                (1)
    其中:<, >为内积,K(x,z)为核函数。从式(1)可以看出,核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算,从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题,从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。

(3)核函数特点

    核函数方法的广泛应用,与其特点是分不开的:

    1)核函数的引入避免了“维数灾难”,大大减小了计算量。而输入空间的维数n对核函数矩阵无影响,因此,核函数方法可以有效处理高维输入。

    2)无需知道非线性变换函数Φ的形式和参数.

    3)核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射,进而对特征空间的性质产生影响,最终改变各种核函数方法的性能。

    4)核函数方法可以和不同的算法相结合,形成多种不同的基于核函数技术的方法,且这两部分的设计可以单独进行,并可以为不同的应用选择不同的核函数和算法。

(4)常见核函数

    核函数的确定并不困难,满足Mercer定理的函数都可以作为核函数。常用的核函数可分为两类,即内积核函数和平移不变核函数,如:
 1)高斯核函数K(x,xi) =exp(-||x-xi||2/2σ2
  2)多项式核函数K(x,xi)=(x·xi+1)^d, d=1,2,…,N; 
  3)感知器核函数K(x,xi) =tanh(βxi+b);
  4)样条核函数K(x,xi) = B2n+1(x-xi)。

(5)核函数方法实施步骤

    核函数方法是一种模块化(Modularity)方法,它可分为核函数设计和算法设计两个部分,具体为:

    1)收集和整理样本,并进行标准化;
    2)选择或构造核函数;
    3)用核函数将样本变换成为核函数矩阵,这一步相当于将输入数据通过非线性函数映射到高维
特征空间;

    4)在特征空间对核函数矩阵实施各种线性算法;

    5)得到输入空间中的非线性模型。

    显然,将样本数据核化成核函数矩阵是核函数方法中的关键。注意到核函数矩阵是l×l的对称矩阵,其中l为样本数。

(6)核函数在模式识别中的应用
    1)新方法。主要用在基于结构风险最小化(Structural Risk Minimization,SRM)的SVM中。

    2)传统方法改造。如核主元分析(kernel PCA)、核主元回归(kernel PCR)、核部分最小二乘法(kernel PLS)、核Fisher判别分析(Kernel Fisher Discriminator, KFD)、核独立主元分析(Kernel Independent Component Analysis,KICA)等,这些方法在模式识别等不同领域的应用中都表现了很好的性能。

 

转自:http://blog.sina.com.cn/s/blog_5dd2e9270100bs2z.html

SPH算法简介(三): 光滑核函数

【原文链接:https://thecodeway.com/blog/?p=161】 补充数学知识:标量对于向量求梯度,即以向量的模为未知量求梯度的结果乘以一个向量的单位向量 和其他流体力学中的数学...

libSVM简介及核函数模型选择

 转自:libSVM简介及核函数模型选择 1. libSVM简介 训练模型的结构体 struct svm_problem //储存参加计算的所有样本 { int l; //记录样本总...

LIBSVM中的SVM类型、核函数及相关参数简介

使用LIBSVM训练时,要用到svm-train,svm-train默认是使用C-SVC和RBF核函数,使用方法如下: svm-train [可选参数] 训练文件 [模型文件] 可选参数: -s sv...
  • s9434
  • s9434
  • 2017年07月19日 15:05
  • 594

SPH算法简介(三): 光滑核函数

SPH算法简介(三): 光滑核函数 2011年04月1日 |本网站遵守CC版权协议 转载请注明出自www.thecodeway.com     和其他流体力学中的数学方法类似,SPH算法同样涉...

统计学习精要(The Elements of Statistical Learning)课堂笔记(二十二):核函数和核方法

补上笔记。这节课讲的就是大名鼎鼎的Kernel Method... 核函数(正定) 定义 K(x,y) , x,y∈R 满足: 1) 对称: K(x,y)=K(y,x) 2) ...

给cuda核函数传递二维数组的一种方法

#include /** * 需求:需要把若干个一维数组传给核函数 * 实现方法:在gpu生成一个一维的指针数组,每个元素指向一个普通一维数组。 * 把该指针数组的地址传递给核函数。 * ...

支持向量机常用核函数

  • 2017年11月14日 11:30
  • 1KB
  • 下载

核函数的参数选择_邱潇钰

  • 2015年04月08日 22:56
  • 1.75MB
  • 下载

机器学习-RBF高斯核函数处理

SVM高斯核函数-RBF优化 重要了解数学的部分: 协方差矩阵,高斯核函数公式。 个人建议具体的求法还是看下面的核心代码吧,更好理解,反正就我个人而言,烦躁的公式,还不如一段代码来的实际。本来想...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:核函数方法简介
举报原因:
原因补充:

(最多只允许输入30个字)