核函数

核函数

核函数基本想法:通过非线性变换将数据从一个空间映射到另一个空间(欧式空间对应于希尔伯特空间)
扩展–核函数是一个独立的概念(只是在机器学习中仅仅用作将数据从低纬度映射到高纬度)

1. 核函数与SVM完全是两个正交的概念, 相互独立, 早在SVM提出之前, RKHS的应用就比较广泛了, 一个经典的列子就是信号处理中信号检测问题:给定一段时间序列, 如何判断信号不是随机噪声而是有特定的模式呢? RKHS理论就给出了一个通过现实求解似然估计的假设检验方案, 其中核函数实际上就是某随机过程在两个不同时间点的相关系数
2.核函数定义从低纬度到高纬度, 这是不准确的, 很多空间是没有维度意义, 但是确实给出了映射
3.这个映射是什么? 内积,  K是有效的核函数==>核函数矩阵K是对称半正定的 Mercer定理, 实际上, 只要满足了Mercer定理的函数, 都可以作为核函数
4.核函数的作用: 不只是点对点的映射, 还可以建立分布对点的映射

K是有效的核函数 ==> 核函数矩阵K是对称半正定的。

可幸的是，这个条件也是充分的，由Mercer定理来表达。

Mercer定理：

如果函数K是上的映射（也就是从两个n维向量映射到实数域）。那么如果K是一个有效核函数（也称为Mercer核函数），那么当且仅当对于训练样例，其相应的核函数矩阵是对称半正定的。
Mercer定理表明为了证明K是有效的核函数，那么我们不用去寻找，而只需要在训练集上求出各个，然后判断矩阵K是否是半正定（使用左上角主子式大于等于零等方法）即可。
矩阵的正定与半正定:
正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。
转载:
机器学习有很多关于核函数的说法，核函数的定义和作用是什么https://www.zhihu.com/question/24627666/answer/28440943
请问谁能用易于理解的语言解释下矩阵的正定及半正定？
https://www.zhihu.com/question/22098422