【机器学习】数据降维——PCA和KPCA

PCA和KPCA

主成分分析（PCA）和核主成分分析（KPCA）都是用于降维的技术，他们在处理数据上有所不同。

1. PCA和KPCA的基本概念

• PCA：是一种线性降维技术，旨在通过将数据投影到主成分上来最大化数据的方差。这些主成分是原始特征的线性组合，PCA使用协方差矩阵来找到这些主成分。

• KPCA：是一种扩展PCA的非线性版本。它通过引入核函数（kernel function），将数据映射到更高维的特征空间中，以捕捉数据中的非线性结构。KPCA同样寻找主成分，但在高维空间中进行操作。

2. 区别

• PCA：仅适用于线性关系。如果数据的结构是线性的，PCA能够有效地提取主成分。计算相对简单，主要涉及协方差矩阵的特征值分解。

• 不涉及核函数，依赖于数据的线性特征。

• 输出的是线性组合的主成分。

• KPCA：可以处理非线性关系。通过核技巧，KPCA能够捕捉到原始空间中不易发现的复杂结构。计算较为复杂，因为需要计算一个核矩阵（kernel matrix），并对其进行特征值分解。在数据量较大时会面临内存限制。

• 使用核函数（如高斯核、多项式核等），可根据数据的性质选择不同的核函数，以适应不同的分布和结构。

• 输出的是在高维特征空间中的主成分，可能不易直接与原始特征解