机器学习-核函数（核模型）

最新推荐文章于 2024-08-11 23:43:46 发布

godli_one

最新推荐文章于 2024-08-11 23:43:46 发布

阅读量1.4w

点赞数 6

分类专栏：图解机器学习

本文链接：https://blog.csdn.net/qq_24059779/article/details/82619748

版权

图解机器学习专栏收录该内容

26 篇文章 5 订阅

订阅专栏

一.核函数

它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。

它基于结构风险最小化理论之上在特征空间中构建最优超平面，使得学习器得到全局最优化，并且在整个样本空间的期望以某个概率满足一定上界。

假设X是输入空间，H是特征空间，存在一个映射ϕ使得X中的点x能够计算得到H空间中的点h

h=ϕ(x)
对于所有的X中的点都成立，x，z是X空间中的点。函数k(x,z)满足条件：

k(x,z)=ϕ(x)⋅ϕ(z) 都成立，则称k为核函数，而ϕ为映射函数。
举个例子，如下图所示：

è¿éåå¾çæè¿°

特征空间在三维空间中，原空间在二维，我们定义映射函数为,x=(x1,x2)

$\phi \left ( {x\color{Red} } \right )= \left (x_{1}^{2}+\sqrt{2}x_{1}x_{2}+x_{2}^{2}\right )$
那么如图所示：
原始空间的点x到特征空间的点为:

$\left ( x_{1} ,x_{_{2}}\right )\Rightarrow \left ( z_{1},z_{2},z_{3}^{} \right )= \left (x_{1}^{2}+\sqrt{2}x_{1}x_{2}+x_{2}^{2}\right )$
同时我们可以验证， ϕ(x)⋅ϕ(z)=k(x,z),

如果我们取 $k(x,z)=\left ( x\cdot z \right )^{2}$

我们要进行高维空间的线性可分，首先要将原始空间的点通过函数ϕ映射到特征空间中，然后学习，而所谓的学习，其实就是要计算高维空间的点的距离和夹角。那么能不能不通过映射函数而直接使用核函数计算高维空间的点的距离以及夹角呢？
答案是可以的，核函数的技巧就是不显示的定义映射函数，而在高维空间中直接使用核函数进行计算。

è¿éåå¾çæè¿°

二.核函数的特征：

核函数必须是连续的，对称的，并且最优选地应该具有正（半）定Gram矩阵。

è¿éåå¾çæè¿°

三核函数的基本类别：

3.1 线性核

由内积<x，y>加上可选的常数c给出。

表达式：

3.2 多项式核函数

表达式：k（x，y）=（αx ^ T y + c）^ d

可调参数是斜率α，常数项c和多项式度d。

3.3 高斯核

高斯核是径向基函数核的一个例子。

或者，它也可以使用来实现

可调参数sigma在内核的性能中起着主要作用，并且应该仔细地调整到手头的问题。如果过高估计，指数将几乎呈线性，高维投影将开始失去其非线性功率。另一方面，如果低估，该函数将缺乏正则化，并且决策边界将对训练数据中的噪声高度敏感。

3.4指数的内核

指数核与高斯核密切相关，只有正态的平方被忽略。它也是一个径向基函数内核。

2.5 拉普拉斯算子核

拉普拉斯核心完全等同于指数内核，除了对sigma参数的变化不那么敏感。作为等价的，它也是一个径向基函数内核。

重要的是注意，关于高斯内核的σ参数的观察也适用于指数和拉普拉斯内核。

核函数表示低维度空间映射到高维度空间的向量内积，训练的时候任意两个样本进行核运算，n个样本点的话，会有n*n次代入核函数的运算。测试阶段的话，一个是训练样本，一个是测试样本。低维度非线性不好区分的时候映射到高维度的空间会存在交叉项，交叉项是可用线性方法区分任意两个变量的重要依据，是最重要的可降维降噪进行操作的部分。