主成分分析（PCA）：简化数据维度的强大工具

xyt556_CUMT

于 2024-08-13 16:59:39 发布

阅读量772

点赞数 30

分类专栏： Big Data 文章标签：信息可视化 python 数据分析

本文链接：https://blog.csdn.net/u011315466/article/details/141168464

版权

Big Data 专栏收录该内容

18 篇文章 0 订阅

订阅专栏

引言

在数据科学中，我们常常面对高维数据集。这些数据集不仅难以可视化，还可能导致模型过拟合。主成分分析（Principal Component Analysis, PCA）是一种降维技术，可以帮助我们简化数据集，同时保留尽可能多的原始信息。本文将介绍PCA的基本概念、如何应用PCA进行数据降维，以及如何确定主成分的个数，并通过Python实现具体的步骤。

1. 什么是主成分分析（PCA）？

主成分分析（PCA）是一种统计技术，主要用于数据降维。它通过将原始数据投影到一组新的正交轴（即主成分）上，减少数据的维度。每个主成分都是原始特征的线性组合，并按其解释的方差大小排序。

主成分：PCA生成的新特征称为主成分，这些主成分按其解释的方差大小排序，第一主成分解释最大方差，第二主成分次之，依此类推。
降维：通过选择前几个主成分，可以显著减少特征数量，保留大部分信息。
数据可视化：通过降维，尤其是将数据降到二维或三维，可以更直观地可视化高维数据。

2. 主成分分析的基本步骤

数据标准化：由于PCA对数据的尺度敏感，通常先要将数据标准化，使各特征的均值为0，方差为1。
协方差矩阵计算：计算特征之间的协方差矩阵，了解它们的相关性。
特征值分解：通过对协方差矩阵进行特征值分解，得到主成分及其对应的特征值。
选择主成分：根据特征值（解释的方差）确定保留的主成分个数，并用它们来转换原始数据。

3. 如何确定主成分的个数？

确定主成分的个数是PCA中的一个关键步骤。以下几种方法常用于选择主成分的数量：

累计解释方差比率：选择那些累计解释方差达到某个阈值（如95%）的主成分数量。
碎石图（Scree Plot）：绘制特征值的碎石图，选择拐点之前的主成分数量，拐点后的特征值下降趋于平缓。
Kaiser准则：保留特征值大于1的主成分（仅适用于协方差矩阵的特征值）。
交叉验证：通过交叉验证选择最能提升模型性能的主成分个数。

3.1 累计解释方差比率和碎石图示例

我们将使用Python代码来展示如何确定主成分的个数。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA

# 生成示例数据
data = {
    'Feature1': [2, 4, 6, 8, 10],
    'Feature2': [1, 3, 5, 7, 9],
    'Feature3': [2, 3, 4, 5, 6],
    'Feature4': [1, 2, 3, 4, 5]
}
df = pd.DataFrame(data)

# 标准化数据
scaler = StandardScaler()
scaled_data = scaler.fit_transform(df)

# 使用PCA
pca = PCA()
pca.fit(scaled_data)

# 累计解释方差比率
cum_variance = np.cumsum(pca.explained_variance_ratio_)
print("累计解释方差比率:\n", cum_variance)

# 绘制碎石图
plt.figure(figsize=(8, 5))
plt.plot(range(1, len(cum_variance) + 1), cum_variance, marker='o', linestyle='--')
plt.title('Scree Plot')
plt.xlabel('Number of Principal Components')
plt.ylabel('Cumulative Explained Variance')
plt.grid()
plt.show()

3.2 选择主成分并转换数据

一旦确定了需要保留的主成分个数，我们可以用它们来转换数据。例如，如果累计解释方差达到95%时需要保留两个主成分，那么我们将数据降维到两个主成分。

# 选择保留的主成分数目
n_components = 2
pca = PCA(n_components=n_components)
pca_data = pca.fit_transform(scaled_data)

print(f"PCA转换后的数据 (保留前{n_components}个主成分):\n", pca_data)
print(f"解释方差比率:\n", pca.explained_variance_ratio_)