机器学习-主成分分析（PCA）方法

最新推荐文章于 2025-08-16 08:48:19 发布
原创 最新推荐文章于 2025-08-16 08:48:19 发布 · 1.8k 阅读 · 53 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

主成分分析(PCA)

1. PCA算法简介

PCA（Principal Component Analysis，主成分分析）是一种常用的无监督学习算法，主要用于降维和特征提取。它的核心思想是将高维数据投影到低维空间，同时尽可能保留数据中的主要信息（即方差最大的方向）。
主要思想：找到数据中方差最大的方向（主成分），将数据投影到由这些主成分构成的低维空间中。
目的：降低数据维度，减少冗余信息，提高计算效率，同时保留数据的主要特征。

2.PCA 算法流程

2.1数据标准化：
对数据进行标准化处理，使每个特征的均值为 0，方差为 1。这一步可以消除不同特征之间的量纲差异。
x标准化=x−μσ x_{\text{标准化}} = \frac{x - \mu}{\sigma} x标准化​=σx−μ​

其中：

  • xxx 是原始数据点，
  • μ\muμ 是数据的均值，
  • σ\sigmaσ 是数据的标准差。

2.2计算协方差矩阵：
协方差矩阵用于衡量不同特征之间的相关性。计算公式为：
Cov(X)=1n−1XTX \text{Cov}(X) = \frac{1}{n-1} X^T X Cov(X)=n−11​XTX

其中，XXX 是标准化后的数据矩阵，每一行表示一个样本，每一列表示一个特征。

2.3计算协方差矩阵的特征值和特征向量：
对协方差矩阵 Σ\SigmaΣ 进行特征值分解，得到特征值 λ\lambdaλ 和对应的特征向量 vvv。特征值和特征向量满足以下方程：

Σ⋅v=λ⋅v \Sigma \cdot v = \lambda \cdot v Σ⋅v=λ⋅v

这一步的目的是找到数据中的主成分，即在哪些方向上数据变化最为显著。
2.4选择主成分：
根据特征值的大小排序，选择前 k 个最大的特征值对应的特征向量，构成降维后的目标子空间。
构成投影矩阵 W：

W=[v1,v2,…,vk] W = [v_1, v_2, \dots, v_k] W=[v1​,v2​,…,vk​]

其中，v1,v2,…,vkv_1, v_2, \dots, v_kv1​,v2​,…,vk​ 是对应于前 k 个最大特征值的特征向量。
2.5数据投影：

将原始数据投影到由选中的特征向量构成的低维空间中，得到降维后的数据。

Z=XW Z = X W Z=XW
其中，XXX 是原始数据矩阵，WWW 是由选中的特征向量组成的投影矩阵，ZZZ 是降维后的数据矩阵。

3.PCA 算法功能及优缺点

3.1PCA功能
降维：PCA 将高维数据投影到低维空间，减少了数据的维度，降低了存储和计算成本。
特征提取：提取数据中的主要特征（主成分），去除冗余信息和噪声，增强数据的主要结构信息。
去相关性：PCA 将原始特征转换为相互正交（不相关）的主成分，有助于消除多重共线性问题。
数据可视化：将高维数据降到二维或三维，便于在散点图等可视化工具中展示数据的分布结构。
3.2PCA优缺点
解释性较差：主成分是原始特征的线性组合，难以解释其实际意义。
对数据分布的假设：假设数据线性可分，对方差较大的方向敏感，不适用于非线性数据。
对异常值敏感：异常值可能影响主成分的方向和方差，需要预处理数据。
计算复杂度：高维数据的协方差矩阵计算和特征值分解计算量较大。
信息损失：降维过程中可能丢失部分信息，需选择合适的主成分数量。

PCA实例代码分析（人脸识别）

1.加载人脸图像数据
功能：从指定路径加载 ORL_Faces 数据集中的灰度人脸图像。
实现细节：
遍历 s1 到 s40 的文件夹，每个文件夹包含 10 张图像。
使用 cv2.imread 以灰度模式读取图像。
如果图像读取成功，则将其添加到 images 列表中，并将对应的类别编号添加到 labels 列表中。
如果图像无法读取，打印警告信息。
如果没有读取到任何图像，抛出异常。
返回图像数组和标签数组。

def load_image_data(path='ORL_Faces'):
  """
    功能：读取 ORL_Faces 数据集中的所有灰度人脸图像
    参数：
    path：数据集路径，默认为 'ORL_Faces'
    返回：
    images：形状为 (400, 高, 宽) 的图像数组
    labels：形状为 (400,) 的标签数组（1~40）
    """
    images = []
    labels = []

    for category in range(1, 41):  # 类别 s1 ~ s40
        for sample in range(1, 11):  # 每类10张图
            img_path = os.path.join(path, f"s{category}", f"{sample}.pgm")
            img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)
            if img is not None:
                images.append(img)
                labels.append(category)
            else:
                print(f"⚠️ 无法读取图像：{img_path}")

    if not images:
        raise RuntimeError("❌ 未读取到任何图像，请检查路径或格式。")

    print(f"✅ 成功读取 {len(images)} 张图像。")
    return np.array(images), np.array(labels)

2.绘制图像（支持原始图或特征脸）
功能：绘制图像矩阵，用于展示图像或特征脸。
实现细节：
使用 plt.figure 创建一个图像窗口，大小根据行数和列数动态调整。
使用 plt.subplots_adjust 调整子图的布局。
遍历图像数组，将每张图像绘制为一个子图。
使用 plt.imshow 显示灰度图像。
设置每个子图的标题，并隐藏坐标轴。

def plot_image_gallery(images, titles, image_height, image_width, n_row=3, n_col=4):
    """
    功能：绘制图像矩阵，用于展示“特征脸”或其他图像
    参数：
    images：图像数组
    titles：每个图像的标题数组
    image_height：图像高度
    image_width：图像宽度
    n_row：显示行数，默认为 3
    n_col：显示列数，默认为 4
    """
    plt.figure(figsize=(1.8 * n_col, 2.4 * n_row))
    plt.subplots_adjust(bottom=0, left=.01, right=.99, top=.90, hspace=.35)
    for i in range(min(n_row * n_col, len(images))):
        plt.subplot(n_row, n_col, i + 1)
        plt.imshow(images[i].reshape((image_height, image_width)), cmap=plt.cm.gray)
        plt.title(titles[i], size=12)
        plt.xticks(())
        plt.yticks(())

3.主程序入口
功能：主程序入口，完成人脸图像的加载、预处理、PCA 降维、KNN 分类以及结果可视化。
实现细节：
读取数据：
调用 load_image_data 函数加载 ORL_Faces 数据集。
将图像数据展平为二维特征矩阵，形状为 (400, 高 × 宽)。
划分训练集和测试集：
使用 train_test_split 将数据集划分为训练集和测试集，比例为 75% 训练集、25% 测试集。
标准化处理：
使用 StandardScaler 对特征矩阵进行标准化处理，使其均值为 0，标准差为 1。
PCA 降维：
使用 PCA 对标准化后的特征矩阵进行降维，保留 150 个主成分。
对训练集和测试集分别进行降维。
累计解释方差图：
绘制 PCA 的累计解释方差图，用于评估降维效果。
KNN 分类：
使用 KNN 分类器对降维后的数据进行分类。
分类结果评估：
使用 classification_report 输出分类报告，包括准确率、召回率、F1 分数等指标。
可视化特征脸（Eigenfaces）：
提取 PCA 的主成分，将其重塑为图像形状。
使用 plot_image_gallery 函数绘制特征脸图像。

def main():
    # ① 读取数据
    face_images, face_labels = load_image_data(path='ORL_Faces')  # <-- 确保路径正确

    num_samples, img_height, img_width = face_images.shape
    feature_matrix = face_images.reshape((num_samples, -1))  # 图像展平成向量

    # ② 划分训练集和测试集，默认 75% 训练、25% 测试
    X_train, X_test, y_train, y_test = train_test_split(
        feature_matrix, face_labels, test_size=0.25, random_state=42
    )

    # ③ 标准化处理
    data_scaler = StandardScaler()
    X_train_scaled = data_scaler.fit_transform(X_train)
    X_test_scaled = data_scaler.transform(X_test)

    # ④ PCA 降维
    num_components = min(150, X_train_scaled.shape[0])  # 不超过样本数
    pca_model = PCA(n_components=num_components, whiten=True, random_state=42)
    X_train_pca = pca_model.fit_transform(X_train_scaled)
    X_test_pca = pca_model.transform(X_test_scaled)

    # ⑤ 累计解释方差图
    plt.figure()
    plt.plot(np.cumsum(pca_model.explained_variance_ratio_))
    plt.xlabel("主成分个数")
    plt.ylabel("累计解释方差")
    plt.title("PCA累计方差解释率")
    plt.grid()
    plt.show()

    # ⑥ KNN 分类
    knn_classifier = KNeighborsClassifier(n_neighbors=5)
    knn_classifier.fit(X_train_pca, y_train)
    y_pred = knn_classifier.predict(X_test_pca)

    # ⑦ 分类结果评估
    print("\n🎯 分类报告 (KNN + PCA):")
    print(classification_report(y_test, y_pred))

    # ⑧ 可视化特征脸（Eigenfaces）
    eigen_faces = pca_model.components_.reshape((num_components, img_height, img_width))
    eigen_face_titles = [f"特征脸 {i + 1}" for i in range(eigen_faces.shape[0])]
    plot_image_gallery(eigen_faces, eigen_face_titles, img_height, img_width, n_row=3, n_col=4)
    plt.show()

4. 执行主函数

if __name__ == "__main__":
    main()

5.完整代码

import cv2
import os
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
from sklearn.model_selection import train_test_split
from sklearn.decomposition import PCA
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import classification_report
from sklearn.preprocessing import StandardScaler


# === 字体设置（支持中文显示）===
font_path = "C:/Windows/Fonts/simhei.ttf"
font_prop = FontProperties(fname=font_path)
plt.rcParams['font.family'] = font_prop.get_name()
plt.rcParams['axes.unicode_minus'] = False


# 加载人脸图像数据
def load_image_data(path='ORL_Faces'):
    """
    功能：读取 ORL_Faces 数据集中的所有灰度人脸图像
    
    参数：
    path：数据集路径，默认为 'ORL_Faces'
    
    返回：
    images：形状为 (400, 高, 宽) 的图像数组
    labels：形状为 (400,) 的标签数组（1~40）
    """
    images = []
    labels = []

    for category in range(1, 41):  # 类别 s1 ~ s40
        for sample in range(1, 11):  # 每类10张图
            img_path = os.path.join(path, f"s{category}", f"{sample}.pgm")
            img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)
            if img is not None:
                images.append(img)
                labels.append(category)
            else:
                print(f"⚠️ 无法读取图像：{img_path}")

    if not images:
        raise RuntimeError("❌ 未读取到任何图像，请检查路径或格式。")

    print(f"✅ 成功读取 {len(images)} 张图像。")
    return np.array(images), np.array(labels)


# 绘制图像（支持原始图或特征脸）
def plot_image_gallery(images, titles, image_height, image_width, n_row=3, n_col=4):
    """
    功能：绘制图像矩阵，用于展示“特征脸”或其他图像
    
    参数：
    images：图像数组
    titles：每个图像的标题数组
    image_height：图像高度
    image_width：图像宽度
    n_row：显示行数，默认为 3
    n_col：显示列数，默认为 4
    """
    plt.figure(figsize=(1.8 * n_col, 2.4 * n_row))
    plt.subplots_adjust(bottom=0, left=.01, right=.99, top=.90, hspace=.35)
    for i in range(min(n_row * n_col, len(images))):
        plt.subplot(n_row, n_col, i + 1)
        plt.imshow(images[i].reshape((image_height, image_width)), cmap=plt.cm.gray)
        plt.title(titles[i], size=12)
        plt.xticks(())
        plt.yticks(())


# 主程序入口
def main():
    # ① 读取数据
    face_images, face_labels = load_image_data(path='ORL_Faces')  # <-- 确保路径正确

    num_samples, img_height, img_width = face_images.shape
    feature_matrix = face_images.reshape((num_samples, -1))  # 图像展平成向量

    # ② 划分训练集和测试集，默认 75% 训练、25% 测试
    X_train, X_test, y_train, y_test = train_test_split(
        feature_matrix, face_labels, test_size=0.25, random_state=42
    )

    # ③ 标准化处理
    data_scaler = StandardScaler()
    X_train_scaled = data_scaler.fit_transform(X_train)
    X_test_scaled = data_scaler.transform(X_test)

    # ④ PCA 降维
    num_components = min(150, X_train_scaled.shape[0])  # 不超过样本数
    pca_model = PCA(n_components=num_components, whiten=True, random_state=42)
    X_train_pca = pca_model.fit_transform(X_train_scaled)
    X_test_pca = pca_model.transform(X_test_scaled)

    # ⑤ 累计解释方差图
    plt.figure()
    plt.plot(np.cumsum(pca_model.explained_variance_ratio_))
    plt.xlabel("主成分个数")
    plt.ylabel("累计解释方差")
    plt.title("PCA累计方差解释率")
    plt.grid()
    plt.show()

    # ⑥ KNN 分类
    knn_classifier = KNeighborsClassifier(n_neighbors=5)
    knn_classifier.fit(X_train_pca, y_train)
    y_pred = knn_classifier.predict(X_test_pca)

    # ⑦ 分类结果评估
    print("\n🎯 分类报告 (KNN + PCA):")
    print(classification_report(y_test, y_pred))

    # ⑧ 可视化特征脸（Eigenfaces）
    eigen_faces = pca_model.components_.reshape((num_components, img_height, img_width))
    eigen_face_titles = [f"特征脸 {i + 1}" for i in range(eigen_faces.shape[0])]
    plot_image_gallery(eigen_faces, eigen_face_titles, img_height, img_width, n_row=3, n_col=4)
    plt.show()


# 执行主函数
if __name__ == "__main__":
    main()

6.实验结果
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

主成分分析（PCA）是一种强大的降维工具，通过线性变换将高维数据映射到低维空间，同时保留数据中的主要信息。在实际应用中，PCA不仅可以用于数据压缩和特征提取，还可以帮助我们更好地理解数据结构。希望通过本文的介绍和案例分析，能够让你对PCA有更深入的理解。

oioooooi
关注
PCA详解
chenjunheaixuexi的博客
06-04 1万+
PCA，即主成分分析，通常用于数据的降维、去噪，可以有效地解决过拟合问题，提高训练效率
主成分分析（PCA）原理详解
热门推荐
李春春的专栏
03-04 46万+
机器学习中有关特征选择的问题，其实就是要剔除和类标签无关的特征，去除噪声或者冗余。在这种情况下，需要一种特征降维的方法来减少特征数，减少噪音和冗余，减少过度拟合的可能性。PCA的思想是将n维特征映射到k维上（k<n），这k维是全新的正交特征。这k维特征称为主成分，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n-k维特征。现在的问题是，对于很高维数据，你能想象其分布吗？就算能描述分布，如何精确地找到这些主成分的轴？如何衡量你提取的主成分到底占了整个数据的多少信息？所以，我们就要用到主成分分析的处
机器学习算法系列专栏：主成分分析(PCA)降维算法（初学者）
最新发布
2301_79749195的博客
08-16 5167
主成分分析(PCA)是一种无监督降维算法，通过线性变换将高维数据映射到低维空间。其核心思想是寻找方差最大的正交方向作为主成分，保留数据主要信息。PCA通过计算协方差矩阵的特征向量确定主成分方向，实现步骤包括：数据标准化、计算协方差矩阵、特征分解和降维映射。与随机森林等有监督学习不同，PCA不依赖标签信息，但降维后特征失去原有业务含义。应用案例展示了如何将PCA与逻辑回归结合：先对数据进行90%方差保留的降维处理，再构建分类模型。PCA能有效消除多重共线性，但解释性较差且要求特征为连续变量。
斯坦福大学机器学习笔记——降维（PCA算法）
wyl1813240346的博客
01-05 1万+
降维也是一种无监督学习的问题。所谓的降维，就是将高维度的数据降低到低维度空间，同时降维之后的数据又能够很好的表征原来数据的特性。 以具体的例子来说明一下什么是降维： 比如我们使用厘米和英尺表示同一物体的长度，如果我们使用一个仪器测量的结果单位是厘米，另一个仪器测量单位是英尺，两种仪器对同一物体测量的结果可能不完全相同（由于误差和精度），但是如果直接将两个特征都作为该物体长度的特征又很冗余，所以我
PCA(主成分分析方法)
YMilton的专栏
04-13 3万+
目录 1. 降维问题 2. 向量与基变换 2.1 内积与投影 2.2 基 2.3 基变换的矩阵 3.协方差矩阵及优化目标 3.1 方差 3.2协方差 3.3协方差矩阵 3.4协方差矩阵对角化 4. 算法与实例 4.1 PCA算法 4.2 实例 5. 讨论 PCA（Principal Component Analysis）是常用的数据分析方法。...
python主成分分析_Python机器学习笔记：主成分分析（PCA）算法
weixin_39570530的博客
11-28 2061
一：引入问题首先看一个表格，下表是某些学生的语文，数学，物理，化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系，那么如何判断三个学生的优秀程度呢？首先我们一眼就能看出来，数学，物理，化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数据成绩拉的最开）。那么为什么我们能一眼看出来呢？当然是我们的坐标轴选对了！！下面，我们继续看一个表格，下...
人工智能机器学习-主成分分析PCA降维
09-17
人工智能机器学习-主成分分析PCA降维-MATLAB代码实现 主成分分析（PCA）是一种常用的数据降维技术，通过找到数据中方差最大的方向来实现数据的降维，同时保留数据的主要信息。PCA将原始数据转换为一组新的变量，称为...
机器学习--主成分分析(PCA)
m0_73531849的博客
06-18 1374
PCA 是 （Principal Component Analysis ）的缩写，中文称为主成分分析法。它是一种维数约减（Dimensionality Reduction）算法，即把高维度数据在损失最小的情况下转换为低维度数据的算法。显然，PCA 可以用来对数据进行压缩，可以在可控的失真范围内提高运算速度，提高机器学习的效率，使较为复杂的数据简单化。所谓损失最小就是从高维向低维映射的时候误差最小，低维空间的描述是向量组，k维空间就用k个向量来描述这个空间。
机器学习-主成分分析PCA
m0_74216325的博客
06-18 1028
主成分分析PCA是一种广泛使用的数据降维技术，用于减少数据集的维数，同时尽可能保留数据的主要信息。它通过将数据投影到一个新的正交坐标系中，使得新的坐标系中的每个轴（主成分）都是原始数据集中最大方差方向的线性组合。PCA的应用包括数据压缩、特征提取、数据可视化等。降维后的数据：降维后的数据保留了原始数据中的主要信息，但减少了维度，从而降低了数据复杂性。均值向量：均值向量 [1.81,1.91]表示数据集中每个特征的平均值。数据中心化处理确保了降维后的数据是以均值为中心。特征向量。
机器学习-主成分分析（PCA)
2301_79735965的博客
01-01 837
这次实验我们了解了关于主成分分析（PCA）的具体运用方法，了解了它的概念方法，原理，以及实战的一些方法。知道了PCA是一种无监督学习算法，它通过最大化方差来选择主成分，但在降维过程中可能会丢失一些重要信息，特别是低方差的主成分往往包含了一些有用的局部模式。同时，PCA只能处理线性关系，对于非线性关系的数据降维效果不好。PCA是一种简单而有效的降维算法，在很多数据处理和特征提取的场景下都有广泛应用。然而，对于一些特定问题，可能需要考虑其他更适合的降维方法，例如流形学习等非线性降维技术。
PCA的数学原理
wxing2008666的专栏
06-28 6686
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。 当然我并不打算把文章写成纯数
PCA算法
crossoverpptx的博客
06-14 4502
在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立的，不能完全利用数据中的信息，因此盲目减少指标会损失很多有用的信息，从而产生错误的结论。
pca算法
zzhays的专栏
03-20 9767
来源： http://www.cnblogs.com/gaoshangbing/archive/2010/03/23/1692357.html 模式识别和图像处理  主元分析(PCA)理论分析及应用 (主要基于外文教程翻译) 什么是PCA?        PCA是Principal component analysis的缩写，中文翻译为主元分析。它是一种对数据进
数据降维之PCA算法的理解（机器学习公开课）
JANESTAR的专栏
03-17 1718
目的：在机器学习过程中，我们常常面对存在成千上百的特征集合，这些高维度的特征集合存在冗余信息，同时也带来了巨大的计算开销。因此把高维数据映射到低维度空间，甚至是可视化的3维或2维空间是我们希望看到的。尽管降维存在数据丢失，但是只要保证主要特征不丢失，在一些情况下是值得采纳的。  下面探讨一种称作主成分分析（PCA）的方法来解决部分上述问题。PCA的思想是将n维特征映射到k维上（k 2. PCA
机器学习算法——主成分分析（PCA）
huangQK的博客
01-01 5400
主成分分析（Principal Component Analysis, PCA）是一种常用的数据降维方法，它可以将高维数据转化为低维数据，同时尽量保留原有数据的信息。
主成分分析法（PCA）
weixin_45142381的博客
10-03 3万+
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。
PCA方法
weixin_34228617的博客
06-29 189
主成分分析 （ Principal Component Analysis ， PCA ） 是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。计算主成分的目的是将高维数据投影到较 低维空间。给定 n 个变量的 m 个观察值，形成一个 n ′ m 的数据矩阵， n 通常比较大。对于一个由多个变量描述的...
PCA 方法及其应用
My Honor！ My World！
05-26 823
** 主成分分析(Principal Component Analysis，PCA )是最常用的 一种降维方法，通常用于高维数据集的探索与可视化，还可以用作数 据压缩和预处理等。 PCA可以把具有相关性的高维变量合成为线性无关的低维变量，称为 主成分。主成分能够尽可能保留原始数据的信息。**主成分分析原理：算法过程：代码：In [28]: import matplotlib.pyplot as
canoco5主成分分析步骤_PCA 主成分分析
weixin_39996742的博客
11-21 2507
前一篇提到的人脸识别中，我们在使用SVM支持向量机做人脸分类之前使用到PCA提取人脸数据中的主要成分，降低计算的维度，那么具体PCA是如何提取的呢？下文了解一下。PCA is a method to project data in a higher dimensional space into lower dimensional space by maximizing the variance o...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值