SVM核函数RBF的参数

标签: svm rbf
44人阅读 评论(0) 收藏 举报
分类:

本文翻译自《RBF SVM parameters》

本例将阐明径向基函数(RBF)做SVM的核函数时参数gamma和C的影响。

直观地,参数gamma定义了单个训练样本的影响大小,值越小影响越大,值越大影响越小。参数gamma可以看作被模型选中作为支持向量的样本的影响半径的倒数。

参数C在误分类样本和分界面简单性之间进行权衡。低的C值使分界面平滑,而高的C值通过增加模型自由度以选择更多支持向量来确保所有样本都被正确分类。

图1是只有两个输入特征和两个可能目标分类(二分类)的简单分类问题在取不同参数值时的决策函数的可视化。注意当有更多特征和目标分类时这种图便画不出来了。

图1

图2是分类器交叉验证的正确率作为C和gamma的函数绘制出的热力图。在这个例子中出于演示目的,我们探索了一个相对较大的参数范围。在实践中,10-3到103的对数范围一般来说是足够的。如果最佳参数位于范围的边界,则可以向该方向扩展范围做进一步的搜索。

图2

注意到热力图中有一个特殊的彩条,它的中间点的值接近于模型表现最好的得分,这是一眼就可以看到的。

模型的行为对于参数gamma十分敏感。如果参数gamma过大,支持向量的影响半径将小到只能影响到它自己,这时再怎么调整参数C也不能避免过拟合。

当参数gamma非常小时,模型会过于拘束不能捕捉到数据的复杂性或“形状”。任何选中的支持向量的影响区域将包含整个训练集。模型的结果将表现地像是用一组超平面分割两类或多类的高密度中心的线性模型。

至于中间值,我们在图2中可以看到,参数gamma和C的对角线上可以找到好的模型。平滑的模型(更小的gamma值)可以通过选择大量的支持向量(更大的C值)来获得更高的复杂度,于是好的模型便出现在了对角线上。

最后我们也观察到对一些gamma的中间值,当C取非常大的值时依旧可以得到表现良好的模型:没有必要通过限制支持向量的数量来实现正则化。RBF核的半径本身就是一个很好的结构调整器。在实践中仍可能会对通过一个较小的C值来限定支持向量的数目感兴趣,这样就可以使模型使用更少的内存,更快地做出预测。

我们还应该指出随机分割的交叉验证会导致结果得分有细微的不同。通过以计算时间为代价增加CV迭代次数n_splits,可以平滑这种细微的不同。在热力图中增加参数C和gamma的取值步长会降低热力图的分辨率。

查看评论

使用Rundll32.exe和Rundll.exe(转程式设计技术)

使用Rundll32.exe和Rundll.exe(转程式设计技术) 本帖版权归原作者,其它网站转载须注明出处,传统媒体转载须事先与原作者和e龙西祠胡同[http://www.xici.net]联系。...
  • yypp
  • yypp
  • 2001-05-27 18:36:00
  • 770

SVM学习笔记(3)LIBSVM中的核函数及其参数

在LIBSVM中-t用来指定核函数类型(默认值是2)。 0)线性核函数 1)多项式核函数 2)RBF核函数 3)sigmoid核函数 4)自定义核函数 常用的四种核函数对应的公式如下:...
  • lqhbupt
  • lqhbupt
  • 2013-02-25 17:55:35
  • 29672

核函数&径向基核函数 (Radial Basis Function)--RBF

1.核函数 1.1核函数的由来 -----------还记得为何要选用核函数么?----------- 对于这个问题,在Jasper's Java Jacal博客《SVM入门(七)为何需要核函数》中...
  • huang1024rui
  • huang1024rui
  • 2016-05-26 21:47:44
  • 24209

SVM学习笔记(1 )LIBSVM中的核函数及其参数

在LIBSVM中-t用来指定核函数类型(默认值是2)。 0)线性核函数 1)多项式核函数 2)RBF核函数 3)sigmoid核函数 4)自定义核函数 常用的四种核函数对应的公式如...
  • yingzimizhan
  • yingzimizhan
  • 2014-03-26 11:44:42
  • 1941

支持向量机SVM核函数的选择(七)

支持向量机是建立在统计学习理论基础之上的新一代机器学习算法,支持向量机的优势主要体现在解决线性不可分问题,它通过引入核函数,巧妙地解决了在高维空间中的内积运算,从而很好地解决了非线性分类问题。要构造出...
  • BigBzheng
  • BigBzheng
  • 2016-04-04 10:05:08
  • 12267

选择支持向量机(SVM)核函数

SVM核函数通常有四种: 1. Linear 2. Polynomial 3. Gaussian (RBF) 4. Sigmoid/Logistic 不知为何,RBF最常用...
  • qq_33232071
  • qq_33232071
  • 2016-03-21 19:16:25
  • 4007

机器学习 径向基(Radial basis function)与RBF核函数 浅析

径向基函数(RBF)在神经网络领域扮演着重要的角色,如 RBF神经网络具有唯一最佳逼近的特性,径向基作为核函数在SVM中能将输入样本映射到高维特征空间,解决一些原本线性不可分的问题。 本文...
  • u013630349
  • u013630349
  • 2015-09-01 20:14:16
  • 3674

opencv SVM核函数模型选择

SVM模型类型枚举 enum { C_SVC, NU_SVC, ONE_CLASS, EPSILON_SVR, NU_SVR }; C_SVC:C表示惩罚因子,C越大表示对错误分类的惩罚越大 NU_...
  • chlele0105
  • chlele0105
  • 2013-09-26 09:57:08
  • 8477

svm常用核函数

SVM核函数的选择对于其性能的表现有至关重要的作用,尤其是针对那些线性不可分的数据,因此核函数的选择在SVM算法中就显得至关重要。对于核技巧我们知道,其目的是希望通过将输入空间内线性不可分的数据映射到...
  • batuwuhanpei
  • batuwuhanpei
  • 2016-08-29 19:34:27
  • 23983

机器学习-RBF高斯核函数处理

SVM高斯核函数-RBF优化 重要了解数学的部分: 协方差矩阵,高斯核函数公式。 个人建议具体的求法还是看下面的核心代码吧,更好理解,反正就我个人而言,烦躁的公式,还不如一段代码来的实际。本来想...
  • qq_19341327
  • qq_19341327
  • 2016-05-23 02:49:47
  • 3599
    个人资料
    持之以恒
    等级:
    访问量: 3万+
    积分: 456
    排名: 11万+
    欢迎访问独立博客: 若水斋
    文章分类
    文章存档
    最新评论