（系列笔记）12.SVM系列（5）

最新推荐文章于 2024-04-26 22:45:39 发布

WNotSyer

最新推荐文章于 2024-04-26 22:45:39 发布

阅读量329

点赞数 1

分类专栏： Machine Learning

本文链接：https://blog.csdn.net/qq_41909317/article/details/88429493

版权

本文详细介绍了非线性SVM及其解决非线性分类问题的原理，包括非线性SVM的分隔超平面、对偶问题以及核函数的应用。核函数如线性、多项式、RBF和Sigmoid核被讨论，探讨了它们的性质和选择。此外，还讲解了如何构建自定义核函数以及数据归一化的意义和方法。

摘要由CSDN通过智能技术生成

SVM——非线性SVM和核函数

非线性分类问题

分类问题最理想的状态是样本空间中都是线性可分的，我们可以清晰无误地把它们分隔成不同的类别，即线性可分SVM；如果实在不行，有少数样本不能被正确划分，但大多数是线性可分的，这就是线性SVM；当面对一个非线性分类时：
在这里插入图片描述
图中红色是正样本，蓝色是负样本，通过观察显然它们之间界限很分明，用绿圈就可以完全分开，但是在二维空间里没办法用线性函数表示这个绿圈，就是说在二维空间里线性不可分，所以线性可分SVM和线性SVM都不能用。

这样，我们想办法在更高纬的空间将它们变得线性可分。如，将上图中正负样本映射到三维空间中，并且依据不同的类别给它们赋予不一样的高度值——z轴取值：
在这里插入图片描述
这样在二维空间的样本在三维空间里分为两层，中间用一个超平面就可以完美分隔了。

非线性SVM

非线性SVM分隔超平面

对于在有限维度向量空间中不可分的样本，将其映射到更高维度的向量空间，再通过间隔最大化的方式，学习得到支持向量机，就是非线性SVM。样本映射到的这个更高位的空间叫特征空间。

注意：如果是理想状态，样本从原始空间映射到特征空间后直接就成为线性可分的，那么接下来的学习是可以通过硬间隔最大化的方式来学的。不过一般情况不算理想情况，所以还是按照软间隔最大化，在特征空间中学习SVM。

一个公式表示：非线性SVM=核技巧+线性SVM。

用向量x表示位于原始空间中的样本， $\phi(x)$ 表示x映射到特征空间之后的新向量，非线性SVM对应的分隔超平面为： $f(x)=w\phi(x)+b$ 。

非线性SVM的对偶问题

非线性SVM的对偶问题变成了：
在这里插入图片描述
和线性SVM唯一的不同就是：之前的 $x_i$ 与 $x_j$ 的内积（点乘）变成了 $\phi(x_i)$ 和 $\phi(x_j)$ 的内积。

核函数

对于有限维的原始空间，一定存在更高维度的空间，使得前者中的样本映射到新空间后可分，但是新空间（特征空间）的维度也许很大，甚至是无限维的，这样的话，直接计算 $\phi(x_i)$ · $\phi(x_j)$ 就很困难，为了避免计算这个内积，设置一个新函数： $k(x_i,x_j)=\phi(x_i)·\phi(x_j)$ 。