机器学习：主成分分析 PCA

最新推荐文章于 2024-03-17 16:56:35 发布

づ红岩乁

最新推荐文章于 2024-03-17 16:56:35 发布

阅读量1k

点赞数 19

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/qq_62087156/article/details/135328470

版权

本文介绍了主成分分析（PCA）的基本概念、算法流程，包括数据中心化、协方差矩阵计算和特征向量提取。通过Python示例展示了如何使用PCA进行数据降维，并讨论了其在可视化、存储、噪声消除等方面的应用，以及其优缺点。

摘要由CSDN通过智能技术生成

一、概念

主成分分析（Principal Component Analysis, PCA）是一种线性降维算法，也是一种常用的数据预处理（Pre-Processing）方法。它的目标是是用方差（Variance）来衡量数据的差异性，并将差异性较大的高维数据投影到低维空间中进行表示。

1.特征维度约减

在机器学习领域中，一个样本往往存在着多种特征，而认为的很难去理解其中各项特征之间的关系，因此人们提出了特征的维度约减这一技术，就是为了降低特征之间的复杂关系，将特征间的随机噪声等尽量降低，找出最本质或者说最重要的特征。

特征约减的目的是将高维特征向量映射到低维子空间中，特征维度约取可以起到可视化以及降低模型过拟合的优点。典型高维数据比如：基因数据；人脸图像；手写体图像等。

2.维度约减应用

可视化 : 高位数据在 2D 或 3D 空间中的可视化

维度约减 : 高效的存储与检索

噪声消除 : 提升分类或识别精度

常用领域：文本挖掘人脸识别手写体识别图像检索基因分类

3.常规维度约减法

无监督方法：无监督学习（Unsupervised Learning）是和监督学习相对的另一种主流机器学习的方法，无监督学习不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类。

监督方法：监督学习利用大量的标注数据来训练模型，使模型最终学习到输入和输出标签之间的相关性；

半监督方法：半监督学习利用少量有标签的数据和大量无标签的数据来训练网络；

二、主成分分析（PCA）

1.主成分分析 (PCA)基本思路

（1）通过协方差分析，建立高维空间到低维空间的线性映射/矩阵

（2）保留尽可能多的样本信息

（3）压缩后的数据对分类、聚类尽量不产生影响，甚至有所提升

将原始高维向量通过投影矩阵，投射到低维空间，这些向量称为主成分 (PCs), 具有无关性、正交的特点。这些向量的数量要远小于高维空间的维度。

2. 主成分的代数定义

给定 n 个样本（每个样本维度为p维）

定义 z 1j 为样本 x j 在第一主成分 / 主方向 a 1 上的投影：

为找到a1 , 使z1的方差最大，根据z1的方差定义，推导得出：

三、PCA算法流程

（1）数据中心化：对X中的每一行(即一个特征属性)进行零均值化，即减去这一行的均值

（2）求出数据中心化后矩阵X的协方差矩阵(即特征与特征之间的协方差构成的矩阵)

（3）求解协方差矩阵的特征值和特征向量

（4）将特征向量按照特征值从大到小按列进行排列称为矩阵，获取最前面的k列数据形成矩阵W。

（5）利用矩阵W和样本集X进行矩阵的乘法得到降低到k维的最终数据矩阵。

四、简单实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets.samples_generator import make_blobs
 
X, y = make_blobs(n_samples=10000, n_features=3, centers=[[3, 3, 3], [0, 0, 0], [1, 1, 1], [2, 2, 2]],
                  cluster_std=[0.2, 0.1, 0.2, 0.2], random_state=9)
 
# 降维到二维
pca = PCA(n_components=2)
pca.fit(X)
# 输出特征值
print(pca.explained_variance_)
输出特征向量
print(pca.components_)
# 降维后的数据
X_new = pca.transform(X)
print(X_new)
fig = plt.figure()
plt.scatter(X_new[:, 0], X_new[:, 1], marker='o')
plt.show()