自己实现降维之核主成分分析（KPCA）

 

许多机器学习算法都假定输入数据是线性可分的。感知器为了保证其收敛性，甚至要求训练数据是完美线性可分的。然而，在现实世界中，大多数情况下我们面对的是非线性问题，针对此类问题，通过降维技术，如PCA和LDA等，将其转化为线性问题并不是最好的办法。 

核函数与核技巧

             其实很简单，就是将线性不可分的数据映射到更高维度上去使其线性可分。换句话说，利用核PCA，可以通过非线性映射将数据转换到一个高维空间，然后在此高维空间中使用标准PCA将其映射到另外一个低维空间中，并通过线性分类器进行划分（前提条件，样本可根据输入空间的密度进行划分）。但是，这种方法的确定是带来高昂的计算成本，这也是为什么要使用核技巧的原因。通过使用核技巧，可以在原始特征空间中计算两个高维特种空间中向量的相似度。

核PCA公式推导:

       标准的PCA的协方差矩阵∑公式如下：

                                                                

        可以使用 ϕ （核函数）通过在原始特征空间上的非线性特征组合来替代样本间点积的计算：

     接下来就是进行标准的PCA操作

 将上述变换一下，得到特征向量

一般情形下，我们不清楚。的具体形式，于是引入核函数