用实验理解SVM的核函数和参数

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。

• 书的购买链接
• 书的勘误，优化，源代码资源

原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。 

欢迎搜索关注微信公众号SIGAICN，获取更多原创干货

 

 

导言

 

支持向量机（SVM）在很多分类问题上曾经取得了当时最好的性能，使用非线性核的支持向量机可以处理线性不可分的问题。仅仅通过一个简单的核函数映射，就能达到如此好的效果，这让我们觉得有些不可思议。核函数过于抽象，在本文中，SIGAI将通过一组实验来演示核函数的有效性，并解释支持向量机各个参数所起到的作用，让大家对此有一个直观的认识。如果要了解SVM的理论，请阅读我们之前的公众号文章“用一张图理解SVM的脉络”。

 

核映射与核函数

通过核函数，支持向量机可以将特征向量映射到更高维的空间中，使得原本线性不可分的数据在映射之后的空间中变得线性可分。假设原始向量为x，映射之后的向量为z，这个映射为：

在实现时不需要直接对特征向量做这个映射，而是用核函数对两个特征向量的内积进行变换，这样做等价于先对向量进行映射然后再做内积：

在这里K为核函数。常用的非线性核函数有多项式核，高斯核（也叫径向基函数核，RBF）。下表列出了各种核函数的计算公式：

各种核函数与它们的计算公式

核函数	计算公式
线性核
多项式核