PCA和KPCA傻傻分不清楚？戳进来教你如何区分

在格创东智之前的文章中，我们讨论了特征抽取的经典算法——主成分分析PCA与线性判别分析LDA的原理与应用场景。PCA是一种无监督的降维方法，寻找的是让数据方差最大的一种映射；LDA是一种有监督的降维方法，寻找的是让数据分类效果最好的一种映射。但是它们仍然有应用的局限性，今天我们就一起来了解下。

PCA的局限性
我们先来回顾一下PCA的降维原理：PCA试图通过旋转找到新的正交基，满足这样的两条性质：
1、最近重构性：样本点到新映射的正交基距离足够接近。
2、最大可分性：样本点在新正交基上方差最大。
最后我们推导得到：

我们只需要对协方差矩阵XX^T 进行特征值分解，得到的特征值和特征向量即是变换矩阵w的解和改主成分所解释的方差量。这样的降维方法是线性的降维方法，即从高维空间到低维空间的函数映射是线性的。然而在不少应用场景中，线性映射可能不能得到想要的结果，例如如下的例子：S型曲线的本真二维结构是其低维空间的原本形状，通过线性降维后得到的结果明显并不是我们所期望的。

核方法
我们介绍SVM的时候所介绍的核方法是一种可以进行升维来生成