学习笔记：机器学习之支持向量机(六、非线性支持向量机与核函数引入)

本文链接：https://blog.csdn.net/qq_44635691/article/details/126438829

活动地址：CSDN21天学习挑战赛

1 非线性支持向量机

学习是一个循序渐进的过程，问题往往会变得复杂多样：线性支持向量机得到的是一个线性分离超平面，当遇到的分类问题无法用线性支持向量机去解决的话怎么办？比如下图把不同类别样本区分开的是一个椭圆，应该如何处理此类问题呢？在这里插入图片描述
如果能把非线性空间中的点映射到线性空间中的话，即把非线性问题转化为线性问题，就可以用老办法解决新问题了，关键是如何转化呢？

2 核函数引入

假设输入空间为欧氏空间 $R^2$ ,映射函数为 $\varphi(x)$ ,输出特征空间为希尔伯特空间 $H$ 。
已知线性支持向量机的目标函数为: $\quad\min\limits_{\alpha} \frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)-\sum_{i=1}^{N} \alpha_{i}$ 该式子中的 $x_{i}\cdot x_{j}$ 无论是原始问题还是对偶问题。目标函数都涉及输入实例与输出实例之间的内积运算，通过映射函数映射之后便为 $\varphi(x_i)\cdot\varphi(x_j)$ 。
令 $K(x_i,x_j)=\varphi(x_i)\cdot\varphi(x_j)$ , $K(x_i,x_j)$ 叫做核函数，这是在新的空间上的内积。采用不同的映射函数进行映射也可以得到相同的核函数。接下来就是求核函数，就可以将线性支持向量机的目标函数重新代换。