核方法（kernel Method）

脑袋空空的Coduck君

于 2023-03-11 15:03:51 发布

阅读量1.6k

点赞数 4

分类专栏：机器学习&深度学习笔记文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/m0_74099951/article/details/129461897

版权

机器学习&深度学习笔记专栏收录该内容

16 篇文章 1 订阅

订阅专栏

核方法是一种将非线性数据映射到高维空间，使其变得线性可分的技术。通过核函数，可以避免直接计算高维空间的映射，简化计算复杂度，同时保持良好的泛化性能。常用的核函数有特定的性质，如正定性，且与原始空间的特征映射一一对应。这种方法常用于支持向量机（SVM）等算法中，用于分类和回归问题。

摘要由CSDN通过智能技术生成

核方法

核方法定义

一种能够将在原始数据空间中的非线性数据映射到高维线性可分的方法。

核方法的用处

1、低维数据非线性，当其映射到高维空间（feature space）时，可以用线性方法对数据进行处理。
2、线性学习器相对于非线性学习器有更好的过拟合控制从而可以更好地保证泛化性能，同时，利用核函数将非线性映射隐含在线性学习器中进行同步计算，使得计算复杂度与高维特征空间的维数无关。

在这里插入图片描述
如上，是将二维空间的非线性数据通过 $\phi$ ，把数据映射到了三维空间中。
并且我们发现，在高维空间中两个数据的内积，是原空间中对应数据的函数
（如上的 $<\phi(x_1,x_2)>,<\phi(x_1',x_2')>=(<x,x'>)^{2}$ ）,该函数被定义为 $K (x, x^{'})$ ,称为核函数（将原始空间中的向量作为输入向量，并返回特征空间（转换后的数据空间,可能是高维）中向量的点积的函数称为核函数）。
注意：将数据映射到不同的高维空间，其对应的核函数不同。

核函数作用

1、通过 $K (x, x^{'})$ 我们可以直接计算出在feature space（高维空间）中点的两点间的距离平方和两个向量间的角度。
在这里插入图片描述
2、由于可以通过1中的方法计算出高维空间的距离和角度，我们完全可以不去计算出 $\phi$ （一般 $\phi$ 难计算），可由 $K (x, x^{'})$ 直接处理高维空间的数据。
3、避免在高维空间运作，选择一个特征空间，其中点积可以使用输入空间中的非线性函数直接求值，降低了计算的复杂度（在高维空间中考虑的维数过多，计算也相当复杂）。