深入理解主成分分析 (PCA) 及其广泛应用

迷路爸爸180

已于 2024-08-22 16:59:57 修改

阅读量1.6k

点赞数 14

文章标签：人工智能机器学习

于 2024-08-22 16:52:45 首次发布

本文链接：https://blog.csdn.net/weixin_51524504/article/details/141429956

版权

深入理解主成分分析 (PCA) 及其广泛应用

文章目录

深入理解主成分分析 (PCA) 及其广泛应用

引言

主成分分析（Principal Component Analysis, PCA）是一种被广泛应用于数据科学、机器学习等领域的数据降维技术。其核心思想是通过将数据转换到一个新的坐标系，识别出数据中最具代表性的方向，从而在保持尽可能多原始信息的前提下降低数据维度。

PCA 的核心概念与目标

PCA 的核心概念：

PCA 是一种统计方法，主要用于识别和简化数据中的模式，通过对原始变量进行线性组合生成新的坐标轴（称为主成分），这些坐标轴按其重要性排序。

PCA 的主要目标：

数据降维：减少数据的维度，以降低计算复杂度并提高数据的可视化效果。
特征提取：通过找出数据集中最具代表性的特征，实现高效的特征提取。
降噪处理：通过去除低方差的主成分，减少数据中的噪声。
数据压缩：在图像处理和信号处理中，PCA 可用于数据压缩，显著减小数据的存储空间。

PCA 的几何解释与步骤

几何解释：
PCA 的目的是找到数据中最具代表性的方向，这些方向通常被称为数据的“主脊柱”。通过将数据投影到这些方向上，PCA 实现了数据的降维。

PCA 的主要步骤：

数据预处理：
- 中心化：将每个特征减去其均值，使得数据中心平移到原点。
- 标准化（可选）：将数据标准化，使每个特征具有相同的尺度，尤其在不同特征的量纲差异较大时。
计算协方差矩阵：
- 对于中心化后的数据，计算协方差矩阵 $\mathbf{C}$ ，其表达式为：
  $\mathbf{C} = \frac{1}{n-1} \mathbf{X}^\top \mathbf{X}$
- 其中， $\mathbf{X}$ 为数据矩阵，矩阵中的每列为一个特征，每行为一个观测值。
特征值与特征向量的计算：
- 通过对协方差矩阵 $\mathbf{C}$ 进行特征值分解，得到特征值 $\lambda_1, \lambda_2, \ldots, \lambda_p$ 及对应的特征向量 $\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p$ 。
- 这些特征向量彼此正交，确保不同主成分间相互独立。
选择主成分：
- 选择方差最大的方向作为第一个主成分，之后依次选择在与已选主成分正交的方向上方差最大的其他方向。
数据投影：
- 将原始数据投影到选定的主成分方向上，得到降维后的数据。

具体数值计算例子

为了更好地理解 PCA 的过程，我们通过一个简单的二维数据集来展示具体的数值计算。

假设我们有以下数据集：

$\begin{pmatrix} 2.5 & 2.4 \\ 0.5 & 0.7 \\ 2.2 & 2.9 \\ 1.9 & 2.2 \\ 3.1 & 3.0 \\ 2.3 & 2.7 \\ 2.0 & 1.6 \\ 1.0 & 1.1 \\ 1.5 & 1.6 \\ 1.1 & 0.9 \\ \end{pmatrix}$

我们将按照以下步骤进行 PCA：

数据中心化：
- 首先，计算每个特征的均值：
  $\text{均值} = \left(\frac{2.5+0.5+\cdots+1.1}{10}, \frac{2.4+0.7+\cdots+0.9}{10}\right) = (1.81, 1.91)$
- 然后，将每个样本减去均值进行中心化：
  $X_{\text{centered}} = X - \text{均值}$
  得到中心化后的数据：
  $X_{\text{centered}} = \begin{pmatrix} 0.69 & 0.49 \\ -1.31 & -1.21 \\ 0.39 & 0.99 \\ 0.09 & 0.29 \\ 1.29 & 1.09 \\ 0.49 & 0.79 \\ 0.19 & -0.31 \\ -0.81 & -0.81 \\ -0.31 & -0.31 \\ -0.71 & -1.01 \\ \end{pmatrix}$
计算协方差矩阵：
- 协方差矩阵 $\mathbf{C}$ 的计算：
  $\mathbf{C} = \frac{1}{n-1} X_{\text{centered}}^\top X_{\text{centered}} = \begin{pmatrix} 0.6166 & 0.6154 \\ 0.6154 & 0.7166 \\ \end{pmatrix}$
  
  这里 $n$ 是样本数量， $X_{\text{centered}}$ 是一个 $\times p$ 的矩阵，其中 $p$ 是特征的数量。需要注意的是，有时也会使用 $\frac{1}{n}$ 而不是 $\frac{1}{n-1}$ ，这取决于你是想要无偏估计还是有偏估计。在统计学中，通常使用 $\frac{1}{n-1}$ 来获得一个无偏估计。
  
  协方差和无偏估计的理解参考该文章：协方差详解及在日常生活中的应用实例——天气温度与冰淇淋销量的关系
特征值与特征向量的计算：
- 通过对协方差矩阵进行特征值分解，得到特征值和特征向量：
  $\lambda_1 = 1.2840, \quad \mathbf{v}_1 = \begin{pmatrix} 0.6779 \\ 0.7352 \end{pmatrix}$
  $\lambda_2 = 0.0491, \quad \mathbf{v}_2 = \begin{pmatrix} -0.7352 \\ 0.6779 \end{pmatrix}$
选择主成分并数据投影：
- 选择第一个特征值 $\lambda_1$ 对应的特征向量 $\mathbf{v}_1$ 作为主成分方向。
- 将中心化后的数据投影到这个主成分方向：
  $X_{\text{reduced}} = X_{\text{centered}} \cdot \mathbf{v}_1 = \begin{pmatrix} 0.8279 \\ -1.7776 \\ 0.9922 \\ 0.2742 \\ 1.6758 \\ 0.9129 \\ -0.0991 \\ -1.1446 \\ -0.4380 \\ -1.2238 \\ \end{pmatrix}$

如果 PCA 中维度和执行 PCA 之前的维度保持一致，会发生什么？

如果在 PCA 中选择的主成分数量与原始数据的维度一致（即 n_components = 原始维度），那么投影后的数据将保留所有的原始信息，维度不会发生变化。这种情况下：

数据不会降维：所有原始数据中的特征信息都会被保留。
等效于没有执行 PCA：PCA 过程等效于一种坐标变换，虽然数据可能被映射到新的坐标系中，但其本质没有改变，仍然包含原始数据的全部信息。

Python 实现 PCA

从零实现 PCA：

我们将展示如何从零实现 PCA，假设我们有一个二维数据集。

import numpy as np

# 生成一个示例数据集
np.random.seed(42)
X = np.random.rand(100, 2)

# 1. 数据中心化
X_mean = np.mean(X, axis=0)
X_centered = X - X_mean

# 2. 计算协方差矩阵
cov_matrix = np.cov(X_centered, rowvar=False)

# 3. 计算特征值和特征向量
eigenvalues, eigenvectors = np.linalg.eigh(cov_matrix)

# 4. 按特征值从大到小排序
sorted_idx = np.argsort(eigenvalues)[::-1]
eigenvalues = eigenvalues[sorted_idx]
eigenvectors = eigenvectors[:, sorted_idx]

# 5. 选择主成分 (假设降到1维)
n_components = 1
selected_eigenvectors = eigenvectors[:, :n_components]

# 6. 数据投影
X_reduced = np.dot(X_centered, selected_eigenvectors)

print("原始数据形状:", X.shape)
print("降维后数据形状:", X_reduced.shape)

调用机器学习库的实现：

使用 scikit-learn 库进行 PCA 的实现更加简单且高效。

from sklearn.decomposition import PCA

# 假设我们使用相同的二维数据集 X
pca = PCA(n_components=1)  # 降到1维
X_reduced_sklearn = pca.fit_transform(X)

print("原始数据形状:", X.shape)
print("降维后数据形状:", X_reduced_sklearn.shape)