主成分分析（PCA）

最新推荐文章于 2024-08-17 17:49:51 发布

sky面包蛋糕

最新推荐文章于 2024-08-17 17:49:51 发布

阅读量2k

点赞数 41

文章标签：算法机器学习

本文链接：https://blog.csdn.net/m0_75013835/article/details/139726352

版权

一、PCA的概念

PCA，全称Principal Component Analysis，即主成分分析，是一种常用的数据分析方法，尤其在数据降维领域应用广泛。PCA是一种统计方法，它通过正交变换将可能线性相关的变量转换为少数几个线性不相关的变量，即所谓的主成分。PCA的主要目的是在减少数据集维数的同时，保持数据集中对方差贡献最大的特征。通过降维，PCA可以简化数据集的结构，使得数据更容易理解和可视化。

二、PCA的算法步骤

PCA（主成分分析）是一种常用的数据降维方法，它通过线性变换将原始数据映射到新的坐标系统，使得数据在新的坐标系统中更容易理解和分析。以下是PCA的算法步骤

1.数据预处理：

对原始数据进行标准化处理，以消除量纲和数值范围的影响。标准化公式为：

$x_i' = \frac{x_i - \mu_i}{\sigma_i}$
其中， $x_i$ 是原始数据中的第 $i$ 个特征， $\mu_i$ 是该特征的均值， $\sigma_i$ 是该特征的标准差， $x_i'$ 是标准化后的数据。

2.计算协方差矩阵：

使用标准化后的数据计算协方差矩阵 C。协方差矩阵是一个 n×n 的矩阵（n 是特征的数量），它反映了数据各维度之间的相关性。协方差矩阵的公式为：
$C = \frac{1}{N-1} \sum_{i=1}^{N} (x_i' - \bar{x}')(x_i' - \bar{x}')^{\top}$
其中， $N$ 是样本数量， $x_i'$ 是第 $i$ 个样本的标准化后的特征向量， $\bar{x}'$ 是所有样本的均值向量。

3.计算协方差矩阵的特征值和特征向量：

对协方差矩阵 C 进行特征值分解，得到特征值 λ1,λ2,...,λn 和对应的特征向量 w1,w2,...,wn。特征值和特征向量的关系由以下公式给出：
$Cw_j = \lambda_j w_j$
其中，。特征值表示第个主成分对数据方差的贡献大小，而特征向量则表示第个主成分的方向。

`4.`选择主成分：

根据特征值的大小选择前 k 个特征向量作为主成分。k 的值可以根据实际需求或数据的性质来确定，通常有以下几种方法：

根据累积方差贡献率选择，即选择使得前 k 个主成分的累积方差贡献率达到某个阈值（如85%）的最小 k 值。
使用Kaiser准则，选择使得所有主成分的方差之和占总方差的比例达到指定阈值（如0.7到0.9）的最小 k 值。
绘制碎石图，通过观察斜率变化来确定 k 的值。

5.数据降维

将原始数据投影到选定的 k 个主成分上，得到降维后的数据。投影的公式为：

$Z = X'W_k$

其中， $X'$ 是标准化后的数据矩阵， $W_k$ 是由选定的 $k$ 个特征向量组成的矩阵， $Z$ 是降维后的数据矩阵。每一行 $z_i$ 是原始数据 $x_i'$ 在 $k$ 个主成分上的投影坐标。

三、PCA在机器学习中的应用

数据可视化：PCA可以将高维数据降维到二维或三维空间，便于可视化分析。通过观察降维后数据的分布和形态，我们可以更好地理解数据的结构和特征。
特征提取：PCA可以提取数据中的主要特征，去除噪声和冗余信息，提高机器学习模型的性能。在图像识别、文本分类等任务中，PCA常被用于特征提取。
异常检测：PCA可以检测数据中的异常值。由于PCA试图找到数据中的主要变化方向，因此与这些方向偏离较大的数据点可能是异常值。
数据压缩：PCA可以将高维数据压缩为低维数据，减少存储空间和传输成本。在图像处理、视频压缩等领域，PCA具有广泛的应用。

四、代码实现

完整代码

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_digits  # 使用scikit-learn内置的数字数据集作为示例
from PIL import Image

# 加载数据集（这里使用scikit-learn内置的数字数据集）
digits = load_digits()
X = digits.data  # 数据集特征（每个图像展平后的一维数组）
y = digits.target  # 数据集标签（每个图像对应的数字）

# 创建一个PCA对象，指定要保留的主成分数量（例如，2个用于可视化）
pca = PCA(n_components=2)

# 对数据进行PCA变换
X_pca = pca.fit_transform(X)

# 可视化降维后的结果（散点图）
plt.figure(figsize=(10, 8))
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='viridis', alpha=0.8, edgecolor='w', s=50)
plt.colorbar()
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.title('PCA of Digits Dataset')
plt.show()

# 如果你想查看原始图像和它们对应的PCA降维结果，你可能需要创建一个网格并单独显示每个图像
# 这通常不适用于PCA可视化，但可以作为查看数据集的参考

# 可视化原始图像（可选）
fig, axes = plt.subplots(4, 4, figsize=(8, 8), subplot_kw={'xticks': [], 'yticks': []},
                         gridspec_kw=dict(hspace=0.1, wspace=0.1))
for i, ax in enumerate(axes.flat):
    ax.imshow(digits.images[i], cmap='gray')
    ax.set_title(digits.target[i])
plt.show()