Kernel SVD（核函数+奇异值分解）

1、分类思想：在原坐标系里线性不可分的数据用核函数投影（非线性映射）到另一个空间（特征空间），尽量使得数据在新的空间里线性可分。

2、若直接在高维空间进行分类或回归，需要确定非线性映射函数的形式、参数以及特征空间的维数等问题，最大的障碍是造成“维数灾难”，计算复杂。

3、内积：

4、核函数：两个向量在映射过后的空间中的内积

经过数学证明，低维空间的矩阵经过核函数变化而来的矩阵==高维空间的内积矩阵，即

5、核函数优点：

1）核函数的引入避免了“维数灾难”,大大减小了计算量。而输入空间的维数n对核函数矩阵无影响，因此，核函数方法可以有效处理高维输入。
2）无需知道非线性变换函数Φ的形式和参数.
3）核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。
4）核函数方法可以和不同的算法相结合，形成多种不同的基于核函数技术的方法，且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函数和算法。

6、如何选择核函数：
①专家的先验性