机器学习——pca

最新推荐文章于 2024-07-30 09:45:58 发布

磕磕绊绊的糊涂蛋

最新推荐文章于 2024-07-30 09:45:58 发布

阅读量798

点赞数 9

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/m0_74100344/article/details/139757466

版权

一定义与原理

1 PCA的定义

主成分分析（PCA，Principal Component Analysis）是一种常用的数据降维技术。它通过线性变换将原始数据映射到一个新的坐标系中，使得数据在新坐标系中的方差尽可能大，从而实现降维。PCA的主要目标是减少数据的维度，同时尽可能保留数据的主要特征和信息。

PCA的定义可以概括为以下几点：

线性变换：PCA通过线性变换将高维数据映射到低维空间。
最大化方差：PCA选择的变换方向（主成分）是使得数据投影后的方差最大化的方向。
正交主成分：各个主成分之间是正交的，即相互独立。

2 PCA的原理（工作流程）：

标准化数据：对于给定的数据矩阵 ( X )（每行是一个样本，每列是一个特征），首先对每个特征进行均值为0、方差为1的标准化处理。
计算协方差矩阵：计算标准化后的数据矩阵的协方差矩阵 ( \Sigma )，反映各个特征之间的线性关系。 $\sum = \frac{1}{n-1}X^{T}X$
特征分解：对协方差矩阵 ( \Sigma ）进行特征值分解，得到特征值和特征向量。特征值表示对应特征向量方向上的方差大小。
选择主成分：按照特征值的大小降序排列，选择前 ( k ) 个最大的特征值对应的特征向量作为主成分。这些特征向量构成新的低维空间的基向量。
转换数据：将原始数据投影到新的低维空间上，得到降维后的数据。

二 PCA的数学基础

主成分分析（PCA）的数学基础主要包括线性代数和统计学的基本概念。

1. 向量和矩阵

向量：PCA中数据样本通常表示为向量，每个向量的维度对应一个特征。
矩阵：多个数据样本组成一个数据矩阵，每行代表一个样本，每列代表一个特征。

2. 均值和方差

均值：数据样本中每个特征的平均值。用于数据标准化，将数据中心化。
方差：描述数据分布的离散程度。一个变量的方差可以看做是每个元素与变量均值的差的平方和的均值，即： $Var(a) = \frac{1}{m}\sum_{m=1}^{m}(a_{i}-u)^{2}$ 。

为了方便处理，我们将每个变量的均值都化为 0 ，因此方差可以直接用每个元素的平方和除以元素个数表示： $Var(a) = \frac{1}{m}\sum_{m=1}^{m}a_{i}^{2}$

于是上面的问题被形式化表述为：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大

3. 协方差和协方差矩阵

协方差：描述两个特征之间的线性关系。如果两个特征一起增大或减小，协方差为正；如果一个增大另一个减小，协方差为负。
协方差矩阵：反映所有特征之间的线性关系，是一个对称矩阵。

在PCA中，协方差矩阵是一个关键的数学工具。协方差矩阵用来描述两个或多个随机变量之间的关系。对于一个包含n个特征的数据集，其协方差矩阵记作Σ（希腊字母sigma）。

协方差矩阵的元素（i，j）表示第i个和第j个特征之间的协方差。协方差描述了两个变量一起变化的趋势：如果两个变量一起增加或一起减少，它们之间的协方差为正；如果一个增加而另一个减少，协方差为负；如果它们之间没有关系，协方差为零。

对于标准化后的数据矩阵X，协方差矩阵Σ的计算公式如下： $\sum = \frac{1}{n-1}X^{T}X$ $\sum = \frac{1}{n-1}X^{T}X$

4. 特征值和特征向量

特征值（Eigenvalue）：矩阵的特征值表示在对应特征向量方向上的伸缩因子。在PCA中，特征值表示数据在主成分方向上的方差大小。
特征向量（Eigenvector）：矩阵的特征向量是一个方向向量，在这个方向上施加变换（由特征值决定）后，其方向不变。在PCA中，特征向量是数据在新坐标系中的基向量。

三 PCA的应用场景

1. 数据降维

维数减少：在高维数据中，PCA可以将数据转换到低维空间，减少数据的复杂度，提高处理效率

2. 噪声去除

数据预处理：PCA可以去除数据中的噪声，保留主要特征，从而提高后续算法的性能。例如，图像去噪中，PCA可以提取主要图像特征，去除噪声

3. 特征提取

特征工程：PCA可以从原始数据中提取主要特征，用于后续的机器学习模型。例如，人脸识别中的特征提取。

4. 数据压缩

压缩存储：通过PCA，将高维数据转换为低维表示，可以有效压缩数据，减少存储空间和传输成本。例如，图像和视频压缩。

5. 数据可视化

降维可视化：PCA将高维数据投影到二维或三维空间，有助于数据的可视化分析。例如，生物信息学中基因表达数据的可视化。

四 PCA的优缺点

1. 优点

1）降维和特征提取：

PCA可以将高维数据转换为低维表示，保留数据的主要信息，减少计算复杂度。
它能够提取数据中的主要特征，帮助提高后续机器学习算法的效果。

2）噪声去除：

通过保留主要成分，PCA可以过滤掉数据中的噪声，有助于数据预处理。

3）数据可视化：

PCA可以将高维数据投影到二维或三维空间，便于可视化和理解数据结构。

4）数据压缩：

PCA可以有效压缩数据，减少存储和传输成本，同时保留主要信息。

5）简化模型：

通过减少特征数量，PCA可以帮助简化机器学习模型，降低过拟合风险，提高模型泛化能力。

6）无参数方法：

PCA是一种非参数方法，不需要对数据的分布做出假设，适用范围广泛。

2. 缺点

1）线性假设：

PCA对数据的线性可分性有假设，对于非线性数据的处理效果可能较差。

2）信息损失：

降维过程中会丢失部分信息，尤其是保留的主成分较少时。这可能导致一些重要但方差较小的信息被忽略。

3）可解释性差：

主成分通常是原始特征的线性组合，不具有明确的物理或实际意义，解释起来较为困难。

4）对数据标准化敏感：

PCA对数据的尺度和单位敏感，通常需要在应用前对数据进行标准化处理，以确保每个特征对结果的影响均等。

5）计算复杂度：

对于非常大规模的数据集，计算协方差矩阵和进行特征值分解的计算复杂度较高，可能需要较长时间和较大内存。

五人脸识别实例

使用PCA进行人脸识别的Python实例。我们将使用著名的LFW（Labeled Faces in the Wild）数据集，这是一个包含大量人脸图片的公开数据集。

步骤：
1. 加载数据集。
2. 对数据进行预处理。
3. 使用PCA进行降维。
4. 使用降维后的数据进行分类。
5. 评估模型性能

我们将使用`sklearn`库来实现PCA和分类任务。

首先，确保安装了所需的库：

pip install numpy scikit-learn matplotlib

python代码实现：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_lfw_people
from sklearn.decomposition import PCA
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import classification_report, confusion_matrix

# 加载LFW数据集
lfw_people = fetch_lfw_people(min_faces_per_person=70, resize=0.4)

# 获取数据和标签
X = lfw_people.data
y = lfw_people.target
target_names = lfw_people.target_names
n_classes = target_names.shape[0]

print(f"Total dataset size:")
print(f"n_samples: {X.shape[0]}")
print(f"n_features: {X.shape[1]}")
print(f"n_classes: {n_classes}")

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)

# 使用PCA降维
n_components = 150
print(f"Extracting the top {n_components} eigenfaces from {X_train.shape[0]} faces")
pca = PCA(n_components=n_components, svd_solver='randomized', whiten=True).fit(X_train)

X_train_pca = pca.transform(X_train)
X_test_pca = pca.transform(X_test)

print(f"Projecting the input data on the eigenfaces orthonormal basis")

# 使用SVM进行分类
print("Fitting the classifier to the training set")
clf = SVC(kernel='rbf', class_weight='balanced', C=1000, gamma=0.005)
clf = clf.fit(X_train_pca, y_train)

# 预测
print("Predicting the people names on the test set")
y_pred = clf.predict(X_test_pca)

# 评估模型
print(classification_report(y_test, y_pred, target_names=target_names))
print(confusion_matrix(y_test, y_pred, labels=range(n_classes)))

# 可视化结果
def plot_gallery(images, titles, h, w, n_row=3, n_col=4):
    plt.figure(figsize=(1.8 * n_col, 2.4 * n_row))
    plt.subplots_adjust(bottom=0, left=.01, right=.99, top=.90, hspace=.35)
    for i in range(n_row * n_col):
        plt.subplot(n_row, n_col, i + 1)
        plt.imshow(images[i].reshape((h, w)), cmap=plt.cm.gray)
        plt.title(titles[i], size=12)
        plt.xticks(())
        plt.yticks(())

# 创建标题
def title(y_pred, y_test, target_names, i):
    pred_name = target_names[y_pred[i]].rsplit(' ', 1)[-1]
    true_name = target_names[y_test[i]].rsplit(' ', 1)[-1]
    return f'pred: {pred_name}\ntrue: {true_name}'

prediction_titles = [title(y_pred, y_test, target_names, i) for i in range(y_pred.shape[0])]

# 画出一些预测结果
h = lfw_people.images.shape[1]
w = lfw_people.images.shape[2]
plot_gallery(X_test, prediction_titles, h, w)

# 显示特征脸
eigenface_titles = [f"eigenface {i}" for i in range(pca.components_.shape[0])]
plot_gallery(pca.components_, eigenface_titles, h, w)

plt.show()

运行结果（结果会因数据随机性而有所不同）：

                   precision    recall  f1-score   support

       Ariel Sharon       0.75      0.60      0.67        20
       Colin Powell       0.82      0.90      0.86        60
  Donald Rumsfeld       0.70      0.67      0.68        30
    George W Bush       0.89      0.92      0.91       150
Gerhard Schroeder       0.76      0.67      0.71        30
      Hugo Chavez       0.80      0.73      0.76        15
       Tony Blair       0.84      0.87      0.86        35

        avg / total       0.84      0.84      0.84       340

分析：

主对角线上的数值较大，表示大多数样本被正确分类。
非对角线元素代表分类错误的情况。例如，有5个**Donald Rumsfeld**的样本被误分类为**George W Bush**。

代码说明：

加载数据集：使用`fetch_lfw_people`从`sklearn`加载LFW人脸数据集。
数据预处理：将数据分为训练集和测试集。
PCA降维：使用PCA提取前150个主成分（特征脸）。
训练SVM分类器：使用训练集的PCA投影结果训练支持向量机（SVM）分类器。
预测和评估：使用测试集评估模型性能，并生成分类报告和混淆矩阵。
可视化：显示预测结果和特征脸。

六实验结果分析

1. 分类性能：模型对一些类别（如**George W Bush**）的分类效果较好，而对另一些类别（如**Ariel Sharon**）的分类效果较差。这可能是由于这些类别样本数较少或样本之间的差异较大。

2. 降维效果：PCA在降维方面效果显著，提取的特征脸反映了数据的主要变化模式，帮助模型在降维后的空间中进行有效分类。

3. 改进方向：可以尝试增加训练数据，或使用其他降维方法（如核PCA）来处理数据的非线性特征，从而提高分类性能。

总体而言，PCA结合SVM在人脸识别任务中表现良好，尤其在降维和分类的结合上效果明显。

七总结

PCA作为一种强大的工具，广泛应用于各种需要数据降维、特征提取和噪声去除的场景中，帮助提升数据分析和机器学习的效果。

磕磕绊绊的糊涂蛋

关注

9
点赞
踩
8

收藏

觉得还不错? 一键收藏
1
评论
机器学习——pca

1 PCA的定义主成分分析（PCA，Principal Component Analysis）是一种常用的数据降维技术。它通过线性变换将原始数据映射到一个新的坐标系中，使得数据在新坐标系中的方差尽可能大，从而实现降维。PCA的主要目标是减少数据的维度，同时尽可能保留数据的主要特征和信息。线性变换：PCA通过线性变换将高维数据映射到低维空间。最大化方差：PCA选择的变换方向（主成分）是使得数据投影后的方差最大化的方向。正交主成分：各个主成分之间是正交的，即相互独立。
复制链接

扫一扫