DS&ML_分类算法笔记之支持自动机SVM模型

最新推荐文章于 2019-05-23 14:30:21 发布

sgyzetrov

最新推荐文章于 2019-05-23 14:30:21 发布

阅读量850

点赞数 1

分类专栏：学习笔记 D.S. and M.L. R 数据科学与机器学习文章标签： svm 支持向量机分类算法核函数

本文链接：https://blog.csdn.net/S_gy_Zetrov/article/details/79784386

版权

146 篇文章 6 订阅

订阅专栏

19 篇文章 0 订阅

订阅专栏

18 篇文章 3 订阅

订阅专栏

在将低维空间映射到高维空间的时候，SVM引入了核函数，目的是实现数据的线性可分。常见的核函数有线性内核，多项式内核，径向基内核（RBF高斯核函数），sigmoid核。

以下有关核函数内容来自台湾大学libSVM团队的guide

RBF核函数可以将一个样本映射到无限维的空间，而且线性核函数是RBF的一个特例，也就是说如果考虑使用RBF，那么就没有必要考虑线性核函数了。
与多项式核函数相比，RBF需要确定的参数要少，核函数参数的多少直接影响函数的复杂程度。另外，当多项式的阶数比较高时，核矩阵的元素值将趋于无穷大或无穷小，而RBF则在上，会减少数值的计算困难。
对于某些参数，RBF和sigmoid具有相似的性能。
RBF kernel更方便计算，取值在[0,1]；而用polynomial kernel取值范围是(0,inf)，在自由度高的情况下更凸显出劣势；至于sigmoid，它可能在某些参数下是无效的
- 为什么RBF可以映射到无限维？
  - 径向基就是把每个数据看作是一个基准然后分别计算所有数据与这个基准之间的高斯函数。如果原始数据维度是2，有n条数据，就成功把一个2维向量升到了n维。
  - 高斯核函数能把数据升到无穷维。比如原始空间为k维，有n条数据，那我已经由k维升到了n维，这时再加一条新的与原始数据不重合的样本，那就能映射到n+1维了，依次循环往复。