主成分分析（PCA）及其可视化——python

原创 已于 2022-03-13 20:25:46 修改 · 10w+ 阅读 · 1.7k ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#big data #大数据 #matlab #python

于 2021-11-17 18:58:22 首次发布
本文详细介绍主成分分析（PCA）的基本原理及其实现步骤，并通过Python案例演示如何进行PCA分析，包括数据预处理、特征值计算及可视化等关键环节。

 可以看看这个哦python入门：Anaconda和Jupyter notebook的安装与使用_菜菜笨小孩的博客-CSDN博客

如果你学会了python 可以看看matlab的哦

主成分分析（PCA）及其可视化——matlab_菜菜笨小孩的博客-CSDN博客

目录

一、主成分分析的原理

二、主成分分析步骤

1.主成分分析的步骤：

2.部分说明

（1）球形检验（Bartlett)

（2）KMO（Kaiser-Meyer-Olkin)统计量

（3）主成分分析的逻辑框图 

 三、所用到的库 factor_analyzer库

 四、案例实战 

1.数据集

2.导入库

 3.读取数据集

 4.进行球状检验

5.KMO检验

6.求相关矩阵

（1）数据标准化做法

1.进行标准化

 2.求相关系数矩阵

​ 3.求解特征值和特征向量

（2）数据不标准化做法

1.求均值

 2.查看列数和行数

 3.写出同数据集一样的均值矩阵

4.对数据集进行去中心化

5.计算协方差阵

6.计算协方差阵的特征值和特征向量

7.对特征值进行排序并输出  降序

8.绘制散点图和折线图 

9.求特征值的贡献度 

10.求特征值的累计贡献度

11.选出主成分

 12.选出主成分对应的特征向量矩阵

 13.求主成分得分

 14.绘制热力图

完整代码：

总结：

一、主成分分析的原理

        主成分分析是利用降维的思想，在损失很少信息的前提下把多个指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称之为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，这就使得主成分比原始变量具有某些更优越的性能。这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使问题得到简化，提高分析效率。

         主成分分析正是研究如何通过原来变量的少数几个线性组合来解释原来变量绝大多数信息的一种多元统计方法。

二、主成分分析步骤

1.主成分分析的步骤：

        1.根据研究问题选取初始分析变量；

        2.根据初始变量特性判断由协方差阵求主成分还是由相关阵求主成分（数据标准化的话需要用系数相关矩阵，数据未标准化则用协方差阵）；

        3.求协差阵或相关阵的特征根与相应标准特征向量；

        4.判断是否存在明显的多重共线性，若存在，则回到第一步；

        5.主成分分析的适合性检验

        6.得到主成分的表达式并确定主成分个数，选取主成分；

        7.结合主成分对研究问题进行分析并深入研究。

2.部分说明

一组数据是否可以用主成分分析，必须做适合性检验。可以用球形检验和KMO统计量检验。（1）球形检验（Bartlett)

        球形检验的假设：

                 H0：相关系数矩阵为单位阵（即变量不相关）

                H1：相关系数矩阵不是单位阵（即变量间有相关关系）

2）KMO（Kaiser-Meyer-Olkin)统计量

        KMO统计量比较样本相关系数与样本偏相关系数，它用于检验样本是否适于作主成分分析。

        KMO的值在0,1之间，该值越大，则样本数据越适合作主成分分析和因子分析。一般要求该值大于0.5，方可作主成分分析或者相关分析。

        Kaiser在1974年给出了经验原则：

                0.9以上       适合性很好

                0.8~0.9        适合性良好

                0.7~0.8        适合性中等

                0.6~0.7        适合性一般

                0.5~0.6        适合性不好

                0.5以下       不能接受的        

（3）主成分分析的逻辑框图 

 三、所用到的库 factor_analyzer库

1. pandas 

pip instal  pandas

2.numpy

pip install numpy

3.matplotlib

pip install matplotlib

 四、案例实战 

1.数据集

数据集aa.xls - 蓝奏云   不能直接分享csv文件

2.导入库

导入数据处理和分析所需要的库：

# 数据处理
import pandas as pd
import numpy as np
最低0.47元/天 解锁文章

200万优质内容无限畅学
python 主成分分析 （PCA）
jacke121的专栏
04-12 4216
主成分分析（PrincipalComponentAnalysis，PCA）是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 # 用python实现主成分分析（PCA） import numpy as np from numpy.linalg import eig from sklearn.datasets import load_iris def pca(X,k): X = X - X.mean(axis = 0) #...
PCA(Principle Component Analysis，主成分分析）介绍及其相关应用
weixin_44808889的博客
06-06 2233
PCA算法介绍及其实现
主成分分析(PCA)python实现(含数据集)
12-15
主成分分析(PCA)python实现(含数据集)，结构清晰，适合初学者
机器学习算法系列专栏：主成分分析(PCA)降维算法（初学者）
最新发布
2301_79749195的博客
08-16 4178
主成分分析(PCA)是一种无监督降维算法，通过线性变换将高维数据映射到低维空间。其核心思想是寻找方差最大的正交方向作为主成分，保留数据主要信息。PCA通过计算协方差矩阵的特征向量确定主成分方向，实现步骤包括：数据标准化、计算协方差矩阵、特征分解和降维映射。与随机森林等有监督学习不同，PCA不依赖标签信息，但降维后特征失去原有业务含义。应用案例展示了如何将PCA与逻辑回归结合：先对数据进行90%方差保留的降维处理，再构建分类模型。PCA能有效消除多重共线性，但解释性较差且要求特征为连续变量。
PCA(主成分分析)过程详解
沐雨金鳞
09-07 2万+
当数据维度太大时，我们通常需要进行降维处理，降维处理的方式有很多种，PCA主成分分析法是一种常用的一种降维手段，它主要是基于方差来提取最有价值的信息，虽然降维之后我们并不知道每一维度的数据代表什么意义，但是它将主要的信息成分保留了下来，那么PCA是如何实现的呢？ 我们首先要知道基坐标的概念，基坐标其实就是我们定义的坐标轴，我们平时最常用的基坐标便是X，Y坐标轴，如果我们重新定义了一个基坐标，那么...
主成分分析法（PCA）原理和步骤
吴建明wujianming_110117
01-30 2万+
主成分分析法（PCA）原理和步骤 主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据，转换为一组线性不相关的变量，转换后的变量被称为主成分。 可以使用两种方法进行 PCA，分别是特征分解或奇异值分解（SVD）。 准备工作 PCA 将 n 维输入数据缩减为 r 维，其中 r<n。简单地说，PCA 实质上是一个基变换，使得变换后的数据有最大的方差，也就是通过对坐标轴的旋转和坐标原点的平移，
Python 中的主成分分析 (PCA)
pythonandaiot的博客
01-04 7208
无监督学习 什么是主成分分析 当我们执行主成分分析 (PCA) 时，我们希望找到数据集的主成分。令人惊讶不是吗？那么，数据集的主要组成部分是什么，我们为什么要找到它们，它们告诉我们什么？数据集的主成分是数据集中变化最大的“方向”（我假设您对术语方差有基本的了解。如果没有，请在此处查找。简单来说，第一个主成分是数据集是沿数据集变化最大的方向。 考虑以下数据集，我在其上绘制了由不同颜色箭头表示的不同“方向”。你怎么看，哪个箭头指向数据集方差最大的方向？ 好吧，通过肉眼我们看到橙色箭头可能指向方差
SciKit-Learn 可视化数据:主成分分析(PCA)
吴吃辣
08-12 3689
保留版权所有，转帖注明出处 章节SciKit-Learn 加载数据集 SciKit-Learn 数据集基本信息 SciKit-Learn 使用matplotlib可视化数据 SciKit-Learn 可视化数据:主成分分析(PCA) SciKit-Learn 预处理数据 SciKit-Learn K均值聚类 SciKit-Learn 支持向量机 SciKit-Learn 速查 主成分分析(P...
主成分分析（PCA）及其可视化——matlab
PY洋洋
11-15 3万+
X= csvread('文件路径',1,0); %读取数据文件，第一行不读取 T = readtable('文件路径')；%读取文件中的所有数据 举例： data = [1,-0.2,0.3,0.8,-0.5 -0.2,1,0.6,-0.7,0.2 0.3,0.6,1,0.5,-0.3 0.8,-0.7,0.5,1,0.7 -0.5,0.2,-0.3,0.7,1] 运行结果： mapping.mean = mean(data, 1) %..
PCA——主成分分析
qq_56683019的博客
10-25 2221
PCA（主成分分析，Principal Component Analysis）是一种用于降维和特征提取的统计方法。其基本思想是将原始数据投影到一个新的坐标系上，使得数据在新坐标系中的前几个坐标轴上具有最大的方差。广泛用于信号处理、图像识别、机器学习和数据分析等领域。其主要目标是通过减少数据的维度来简化问题，同时尽可能保留原始数据中的重要信息。
用python进行主成分分析（PCA）
TSzero的博客
05-10 1万+
一、简介  这篇文章简单介绍了PCA的原理、思想和一些定义，本文将介绍如何用python进行PCA。 二、实现 2.1 标准化数据  在对数据进行PCA前，需要先将数据进行中心标准化，即使特征的平均值为000，方差为111。 from sklearn.preprocessing import StandardScaler StandardScaler(*, copy=True, with_mean=True, with_std=True) 使用说明： 实例化：scaler = StandardScale
Python实战：主成分分析
weixin_47362565的博客
12-03 516
另外，为了进一步展示主成分分析后的降维效果，又创建了一个新的 PCA 对象，设置 n_components 为 2，将原始数据转换到二维空间（仅取前两个主成分），并查看转换后的数据示例（这里将转换后的数据转换为 pandas 的 DataFrame 格式方便查看），在实际应用中还可以将转换后的数据用于后续的可视化分析（比如绘制散点图查看学生样本在二维主成分空间中的分布情况等）。首先定义了一个二维的 numpy 数组来表示学生成绩数据，每一行对应一名学生的各科成绩。
用python实现主成分分析（PCA）
热门推荐
ruoff的博客
05-09 4万+
用python实现主成分分析（PCA）python应用实例：如何用python实现主成分分析背景iris数据集简介算法的主要步骤代码实现查看各特征值的贡献率 python应用实例：如何用python实现主成分分析 主成分分析（Principal Component Analysis，PCA）是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 背景 在许多机器学习、深度学习的应用中，往往需要处理大量样本或大的矩阵，多变量大样本无疑会为研究和应用提供丰富
R可视乎｜主成分分析结果可视化
qq_37379316的博客
01-31 1万+
简介 主成分分析法是很常用的一种数据降维方法。该方法可以减少数据的维数，并保持对方差贡献最大的特征，相当于保留低阶主成分，忽略高阶主成分。 关于主成分的理论介绍和R语言代码实现可见前段时间赵西西写的推文：主成分分析 但是后面留了一个小尾巴，如果想对主成分结果进行可视化，那得怎么实现？有没有简便的方法呢？ 正好这几天有读者问起，那今天就来说说这个问题吧。 方法一 使用ggbiplot包中的ggbiplot()函数，该函数 使用ggplot2对主成分进行可视化。函数内部参数如下 ggbiplot(pcobj
Python之主成分分析
weixin_34280060的博客
12-22 9453
目的：  了解主成分分析、因子分析、判别分析、聚类分析的原理背景  掌握SAS语言进行多变量分析过程（princomp过程和factor过程）  掌握SAS语言进行判别分析 (discrim过程)  掌握SAS语言进行聚类分析（cluster过程，tree过程） 引言：前面介绍SAS的基本统计分析功能。本章我们讲述用SAS进行多元统计分析。 SAS进行多元统计分析的过程包括: 第一类：多变量分析过程，包括princomp(主成分分析)、factor（因子分析）、cancorr(典型相关分析、mult
python主成分分析（PCA）
黄俊文的博客
12-10 3万+
一、PCA简介 1. 相关背景 主成分分析（Principal Component Analysis，PCA）， 是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后，颇有体会。最近在做主成分分析和奇异值分解方面的项目，所以记录一...
【Python机器学习】将PCA用于cancer数据集并可视化
weixin_39407597的博客
06-07 488
这意味着在所有特征之间存在普遍的相关性，如果一个测量值很大的话，其他的测量值可能也较大。对于这里的散点图，我们绘制了第一主成分和第二主成分的关系，然后利用类别信息对数据点进行着色。在这个二维空间中的两个类别被很好的分离。对于Iris（鸢尾花）数据集，我们可以创建散点矩阵图，通过展示特征所有可能的两两组合来展示数据的局部图像。每张图都包含两个直方图，一个是良性类别的所有点（蓝色），一个是恶性类别的所有点（红色）。这样可以了解每个特征在两个类别中的分布情况，也可以猜测哪个特征能够很好的区分良性样本和恶性样本。
主成分分析（PCA）Python
qq_43010742的博客
01-27 1236
实际问题研究中，常常遇到多变量问题，变量越多，问题往往越复杂，且各个变量之间往往有联系。于是，我们想到能不能。比如说一件上衣，有身长、袖长、胸围、腰围等等十多个指标，将型号分这么多很麻烦，因此，厂家将十多项指标综合成3项指标，分别反映长度、胖瘦、特殊体型。变量具有相关性，同时就意味着，主成分分析就是将重复的变量（关系紧密的变量）删去，建立尽可能少的、互相无关的新变量。
主成分分析python与可视化
03-21
### Python 中主成分分析 (PCA) 的实现与可视化 #### 使用 `sklearn` 进行 PCA 分析 在 Python 中，可以利用 `scikit-learn` 库中的 `PCA` 类来执行主成分分析。该类位于 `sklearn.decomposition` 模块下[^2]。 以下是完整的 PCA 实现流程： 1. **导入必要的库** 需要引入 `numpy`, `pandas`, 和 `matplotlib` 来处理数据和绘制图形；还需要引入 `PCA` 类来进行降维操作。 2. **加载并预处理数据** 数据通常需要标准化以便于后续计算更加精确。 3. **应用 PCA 并提取特征向量** 利用 `fit_transform()` 方法将原始数据转换到低维度空间。 4. **可视化结果** 常见的可视化方式包括二维散点图或者通过 `biplot` 显示变量贡献度。 下面是具体代码示例： ```python import numpy as np import pandas as pd from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler import matplotlib.pyplot as plt # 创建虚拟数据集 np.random.seed(0) X = np.dot(np.random.rand(2, 2), np.random.randn(2, 200)).T y = np.array([0]*100 + [1]*100) # 数据标准化 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 初始化 PCA 对象 pca = PCA(n_components=2) # 设置保留两个主成分 principalComponents = pca.fit_transform(X_scaled) # 转换为主成分 DataFrame 形式 df_pca = pd.DataFrame(data=principalComponents, columns=['PC1', 'PC2']) df_pca['target'] = y # 绘制二维投影图 plt.figure(figsize=(8,6)) targets = [0, 1] colors = ['r', 'b'] for target, color in zip(targets, colors): indicesToKeep = df_pca['target'] == target plt.scatter(df_pca.loc[indicesToKeep, 'PC1'], df_pca.loc[indicesToKeep, 'PC2'], c=color, s=50) plt.xlabel('Principal Component 1') plt.ylabel('Principal Component 2') plt.title('2D Projection of the Dataset using PCA') plt.legend(['Class 0', 'Class 1']) plt.grid(True) plt.show() print(f'Explained variance ratio: {pca.explained_variance_ratio_}') ``` 上述代码实现了以下功能： - 将随机生成的数据集进行标准缩放； - 提取前两主成分作为新坐标轴表示原数据； - 输出解释方差比例以评估各主成分的重要性； - 展示不同类别样本分布情况下的二维平面映射效果。 对于更复杂的场景，还可以借助第三方工具包如 `scikit-plot` 完成高级别的可视化工作，例如调用函数 `plot_pca_2d_projection` 自动生成带有标签区分的颜色编码图表[^3]。 ```python import scikitplot as skplt # 更加简洁的方式完成相同任务 skplt.decomposition.plot_pca_2d_projection(pca, X_scaled, y) plt.show() ``` 此段脚本能够快速构建出具备分类信息标注的功能强大的图像界面展示形式。 #### 总结 以上介绍了如何运用 Python 编程语言配合机器学习框架 Scikit-Learn 执行经典的统计技术——主成分分析，并且提供了基础版的手动绘图方案以及增强型自动化解决方案供读者参考选用。
评论 102
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值