PCA和KPCA傻傻分不清楚？戳进来教你如何区分

最新推荐文章于 2024-03-19 16:30:34 发布

getech

最新推荐文章于 2024-03-19 16:30:34 发布

阅读量4k

点赞数 2

文章标签： PCA KPCA 特征抽取格创东智工业互联网

本文链接：https://blog.csdn.net/getech/article/details/94399267

版权

本文介绍了PCA的降维原理及其局限性，指出线性降维可能无法应对复杂的数据结构。接着引入核方法，通过KPCA（核主成分分析）解决非线性问题，解释了KPCA是如何通过非线性变换找到数据的低维表示。KPCA与PCA的主要区别在于，KPCA能在低维空间利用核函数模拟高维空间的非线性映射。

摘要由CSDN通过智能技术生成

在格创东智之前的文章中，我们讨论了特征抽取的经典算法——主成分分析PCA与线性判别分析LDA的原理与应用场景。PCA是一种无监督的降维方法，寻找的是让数据方差最大的一种映射；LDA是一种有监督的降维方法，寻找的是让数据分类效果最好的一种映射。但是它们仍然有应用的局限性，今天我们就一起来了解下。

PCA的局限性
我们先来回顾一下PCA的降维原理：PCA试图通过旋转找到新的正交基，满足这样的两条性质：
1、最近重构性：样本点到新映射的正交基距离足够接近。
2、最大可分性：样本点在新正交基上方差最大。
最后我们推导得到：
在这里插入图片描述
我们只需要对协方差矩阵XX^T 进行特征值分解，得到的特征值和特征向量即是变换矩阵w的解和改主成分所解释的方差量。这样的降维方法是线性的降维方法，即从高维空间到低维空间的函数映射是线性的。然而在不少应用场景中，线性映射可能不能得到想要的结果，例如如下的例子：S型曲线的本真二维结构是其低维空间的原本形状，通过线性降维后得到的结果明显并不是我们所期望的。
在这里插入图片描述