非线性映射——核主成分分析

许多机器学习算法都假定输入数据是线性可分的。感知器为了保证其收敛性，甚至要求训练数据是完美线性可分的。然而，在现实世界中，大多数情况下我们面对的是非线性问题，针对此类问题，通过降维技术，如PCA和LDA等，将其转化为线性问题并不是最好的办法。

核函数与核技巧

通过将非线性可分问题映射到维度更高的特征空间，使其在新的特征空间上线性可分。为了将样本 ${x\in R^d}$ 转换到维度更高的 k 维子空间，定义如下非线性映射函数 ${\phi}$ :

我们可以将 ${\phi}$ 看做是一个函数，它能够对原始特征进行非线性映射，以将原始的 d 维数据集映射到更高的 k 维特征空间。例如：对于二维（d = 2）特征向量 ${x\in R^d}$ 来说，可用如下映射将其转换到三维空间：

换句话说，利用核PCA，可以通过非线性映射将数据转换到一个高维空间，然后在此高维空间中使用标准PCA将其映射到另外一个低维空间中，并通过线性分类器进行划分（前提条件，样本可根据输入空间的密度进行划分）。但是，这种方法的确定是带来高昂的计算成本，这也是为什么要使用核技巧的原因。通过使用核技巧，可以在原始特征空间中计算两个高维特种空间中向量的相似度。

在更深入了解使用核技巧解决计算成本高昂的问题之前，先回顾一下标准PCA方法。两个特征 k 和 j 之间协方差的计算公式如下：

由于在对特征做标准化处理后，其均值为0，所以上述公式可简化为：

由此可得出计算协方差矩阵 ${\Sigma}$ 的通用公式：

可以使用 ${\phi}$ 通过在原始特征空间上的非线性特征组合来替代样本间点积的计算：

为了求得此协方差矩阵的特征向量，也就是主成分，需要求解下述公式：

其中，${\lambda}$ 和