其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。
原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的。
欢迎搜索关注微信公众号SIGAICN,获取更多原创干货
导言
支持向量机(SVM)在很多分类问题上曾经取得了当时最好的性能,使用非线性核的支持向量机可以处理线性不可分的问题。仅仅通过一个简单的核函数映射,就能达到如此好的效果,这让我们觉得有些不可思议。核函数过于抽象,在本文中,SIGAI将通过一组实验来演示核函数的有效性,并解释支持向量机各个参数所起到的作用,让大家对此有一个直观的认识。如果要了解SVM的理论,请阅读我们之前的公众号文章“用一张图理解SVM的脉络”。
核映射与核函数
通过核函数,支持向量机可以将特征向量映射到更高维的空间中,使得原本线性不可分的数据在映射之后的空间中变得线性可分。假设原始向量为x,映射之后的向量为z,这个映射为:
在实现时不需要直接对特征向量做这个映射,而是用核函数对两个特征向量的内积进行变换,这样做等价于先对向量进行映射然后再做内积:
在这里K为核函数。常用的非线性核函数有多项式核,高斯核(也叫径向基函数核,RBF)。下表列出了各种核函数的计算公式:
各种核函数与它们的计算公式
核函数 |
计算公式 |
线性核 |
|
多项式核 |