主成分分析(PCA)原理分析&Python实现

已于 2023-09-14 08:59:38 修改
阅读量1.2w 收藏 200
点赞数 26
分类专栏： 光谱数据处理&定量分析 文章标签： python 算法 经验分享 机器学习
于 2022-09-13 01:56:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongke1991/article/details/126774638
版权
本文深入探讨PCA（主成分分析）的原理，包括数据降维的必要性、PCA的意义、实现步骤及背后的数学解释。通过理论分析回答了PCA中去均值、计算协方差矩阵的原因，并介绍了确定主成分个数的方法。此外，文章还提供了PCA的Python代码示例。
摘要由CSDN通过智能技术生成

目录

1 引言

2 PCA的意义

3 PCA的实现步骤

4 弄懂PCA要回答的问题

5 PCA原理

5.1 如何降维？

5.2 如何量化投影以后样本点之间的区分度？

5.3 求取k维坐标系

5.3.1 目标函数是否存在最大值？

5.3.2 求解目标函数的最大值以及对应的​编辑

6 第4章节问题解答

6.1 为什么去均值（中心化）？

6.2 为什么要计算协方差矩阵？

6.3 为什么要计算协方差矩阵的特征值和特征向量？为什么要排序？

6.4 主成分个数N怎么确定？

7 Python代码——PCA 

 8 补充说明

1 引言

         PCA代码实现的步骤网上已经有很完善的介绍，也有很多资料介绍过PCA的理论推导过程。本文的侧重点是从理论上解释PCA每一个步骤理由，便于更加深刻地理解PCA，而不是单纯地机械式的码代码。

2 PCA的意义

         PCA的作用是数据降维。

         为什么要进行数据降维呢？
         在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。盲目减少指标会损失很多信息，容易产生错误的结论。
         因此需要找到一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。主成分分析与因子分析就属于这类降维的方法。

3 PCA的实现步骤

4 弄懂PCA要回答的问题

         ① 为什么去均值（中心化）？
         ② 为什么要计算协方差矩阵？
         ③ 为什么要计算协方差矩阵的特征值和特征向量？为什么要按照特征值的大小排序？
         ④  主成分个数N怎么确定？

5 PCA原理

要回答上述罗列的问题，就要从PCA的原理说起。

5.1 如何降维？

最大方差理论：在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。因此我们认为，最好的k维特征是将n维样本点转换为k维后，每一维上的样本方差都很大。

降维本质上就是一个去噪的过程。

         如下图，有6个数据点（已中心化，中心化实际上就是将原点移动到样本的中心点）：

          将上述6个点分别投影到某一维上（用过原点的直线表示）：

          那么问题来了，我们选择了两条不同的过原点的直线进行投影，哪种更好呢？根据最大方差理论，左边的更好，因为样本点投影后的区分度最大，也就是方差最大。

从上面的分析可以看出 ，降维就是将原来n维样本点映射到新的k维坐标系（k<n），并要求新的样本点尽可能多地携带原始数据点的信息。要携带的信息最多，则要求新的样本点区分度最大，也就是方差最大。

实现降维的关键点有两个：
①  量化样本点之间的区分度（目标函数）；
② 求取这个k维坐标系。

5.2 如何量化投影以后样本点之间的区分度？

         根据最大方差理论，采用所有样本点投影大小的方差来衡量投影以后样本点之间的区分度。如图所示，蓝色点表示样例，绿色表示在u上的投影，u是直线的斜率也是直线的方向向量，而且是单位向量。绿色点是在u上的投影点，离原点的距离是x^i^Tu，即为单个样本点的投影大小。

         同理，其他样本点的投影大小也可以采用同样的方式计算得到。那么投影以后，所有样本点投影大小的方差（区分度）为：

Var=\tfrac{1}{n}\sum_{i=1}^{n}(x^i^Tu-\overline{x^i^Tu})^2

         式中，\overline{x^i^Tu}表示某个特征所有样本点投影的均值。由于原始点在最开始都进行了去均值操作，所以原始样本数据每一维特征的均值都为0，因此投影到u上的特征的均值仍然是0(即\overline{x^i^Tu}=0)。那么上式可以化简为：

Var=\tfrac{1}{n}\sum_{i=1}^{n}(x^i^Tu)^2

5.3 求取k维坐标系

         求取k维坐标就是求取各个坐标轴的单位向量u_i,i=1,2,3......k，可以转化成一个求解目标函数最大值的问题：

求解u，使得目标函数

 Var=\tfrac{1}{n}\sum_{i=1}^{n}(x^i^Tu)^2 \to max

要解答这个问题，分两步：
① 证明这个目标函数存在最大值；
② 求解当目标函数取最大值时，对应的u。

5.3.1 目标函数是否存在最大值？

目标函数可进行如下变换:

\tfrac{1}{n}\sum_{i=1}^{n}(x^i^Tu)^2= \tfrac{1}{n}\sum_{i=1}^{n}(x^i^Tu)^T(x^i^Tu)=\tfrac{1}{n}\sum_{i=1}^{n}u^Tx^ix^i^Tu

<
最低0.47元/天 解锁文章
Dfreedom.
关注
  • 26
    点赞
  • 踩
  • 200
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
Python 中的主成分分析 (PCA)
pythonandaiot的博客
01-04 6852
无监督学习 什么是主成分分析 当我们执行主成分分析 (PCA) 时，我们希望找到数据集的主成分。令人惊讶不是吗？那么，数据集的主要组成部分是什么，我们为什么要找到它们，它们告诉我们什么？数据集的主成分是数据集中变化最大的“方向”（我假设您对术语方差有基本的了解。如果没有，请在此处查找。简单来说，第一个主成分是数据集是沿数据集变化最大的方向。 考虑以下数据集，我在其上绘制了由不同颜色箭头表示的不同“方向”。你怎么看，哪个箭头指向数据集方差最大的方向？ 好吧，通过肉眼我们看到橙色箭头可能指向方差
python主成分分析PCA完整代码以及结果图片
03-13
Python中的主成分分析（PCA）是一种广泛应用于数据分析和机器学习领域的降维技术。它通过线性变换将原始数据转换为一组各维度线性无关的表示，使得这些新维度（主成分）按照它们对数据方差的贡献大小排序，从而简化...
主成分分析(PCA)python实现(含数据集)
12-15
主成分分析(PCA)python实现(含数据集)，结构清晰，适合初学者
PCA以及python的实现
weixin_59049646的博客
06-23 681
PCA通过正交变换将一组可能相关性很高的变量转换为一组线性不相关的变量，这些新的变量称为主成分。在数学上，PCA通过保留低阶主成分，忽略高阶主成分，从而实现对数据的降维处理。PCA的主要应用包括数据压缩、噪声过滤、特征提取等。在许多机器学习和数据分析任务中，PCA被广泛用于降维，以减少数据的复杂性和提高算法的性能。
主成分分析（PCA）详解与Python实现
最新发布
weixin_49816293的博客
07-01 547
主成分分析（PCA）是一种统计方法，它通过正交变换将一组可能相关的变量转换成一组线性不相关的变量，这些不相关变量称为主成分。PCA常用于降维、数据压缩和模式识别等领域。PCA的目标是找到数据集中的最大方差方向，并沿着这些方向进行投影，以减少数据的维度，同时保留尽可能多的原始数据集的变异性。PCA是一种强大的降维技术，可以有效地在保留数据集中大部分变异性的同时减少数据的维度。库，我们可以轻松地实现PCA，并利用。库来实现PCA，并可视化结果。喜欢的伙伴们点个关注哦~~我们将使用Python的。
python主成分分析_PCA主成分分析Python实现
weixin_39616565的博客
11-28 503
PCA（principle component analysis） 。主成分分析，主要是用来减少数据集的维度，然后挑选出基本的特征。原理简单，实现也简单。关于原理公式的推导，本文不会涉及，你能够參考以下的參考文献，也能够去Wikipedia，这里主要关注实现，算是锻炼一下自己。本来是在复习LDA的，然后就看到了PCA。就跟着以下这篇文章的步骤，把PCA用python实现了一遍，详细的思想能够參考这...
python主成分分析_Python机器学习笔记：主成分分析（PCA）算法
weixin_39570530的博客
11-28 1581
一：引入问题首先看一个表格，下表是某些学生的语文，数学，物理，化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系，那么如何判断三个学生的优秀程度呢？首先我们一眼就能看出来，数学，物理，化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数据成绩拉的最开）。那么为什么我们能一眼看出来呢？当然是我们的坐标轴选对了！！下面，我们继续看一个表格，下...
python-主成分分析实现
qq_43165880的博客
09-12 8604
以下内容笔记出自‘跟着迪哥学python数据分析与机器学习实战’，外加个人整理添加，仅供个人复习使用。 在理论的基础上，在python中实现主成分分析。 使用鸢尾花数据作为例子进行。首先导入数据： import numpy as np import pandas as pd df=pd.read_csv(r'iris.data') print(df.shape) df.columns=['sepal_len','sepal_wid', 'petal_len','petal_wid',
用python进行主成分分析（PCA）
TSzero的博客
05-10 1万+
一、简介  这篇文章简单介绍了PCA的原理、思想和一些定义，本文将介绍如何用python进行PCA。 二、实现 2.1 标准化数据  在对数据进行PCA前，需要先将数据进行中心标准化，即使特征的平均值为000，方差为111。 from sklearn.preprocessing import StandardScaler StandardScaler(*, copy=True, with_mean=True, with_std=True) 使用说明： 实例化：scaler = StandardScale
PCA的Python实现
大学之道，在明明德
11-16 3722
PCA的Python实现 pca讲解：http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html python实现：http://blog.csdn.net/u012162613/article/details/42177327 """ 总的代码. Func: 对原始的特征矩阵进行降维, lowDataMat为降维之后返回新的特
用python实现主成分分析（PCA）
热门推荐
ruoff的博客
05-09 4万+
用python实现主成分分析（PCA）python应用实例：如何用python实现主成分分析背景iris数据集简介算法的主要步骤代码实现查看各特征值的贡献率 python应用实例：如何用python实现主成分分析 主成分分析（Principal Component Analysis，PCA）是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。 背景 在许多机器学习、深度学习的应用中，往往需要处理大量样本或大的矩阵，多变量大样本无疑会为研究和应用提供丰富
主成分分析（PCA）Python代码.ipynb
03-12
PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。
Python实现PCA
10-27
自己用Python实现的PCA算法。Python3可直接导入数据运行。
主成分分析（PCA）-Python代码-信息分析与预测
05-23
信息分析与预测的实验，Python写的代码，萌新代码，勿喷，仅仅只是方便没时间写实验的朋友，直接用python打开就能运行
主成分分析_python_主成分分析_
09-28
在Python中，我们通常使用`sklearn.decomposition`模块中的`PCA`类来执行主成分分析。这个类提供了完整的PCA流程，包括数据预处理、主成分计算和降维。下面是一段基本的PCA使用示例： ```python from sklearn....
课时113PCA实例_python；主成分分析_
10-01
主成分分析(Principal Component Analysis, PCA)是一种统计学方法，用于将高维数据转换为一组线性不相关的低维变量，这些新变量被称为主成分。PCA的主要目标是减少数据的复杂性，同时最大化数据集中的方差，以便于...
主成分分析PCA+测试数据
04-25
主成分分析(Principal Component Analysis, 简称PCA)是一种广泛应用的数据分析方法，尤其在机器学习领域中，它被用来降维和简化复杂的数据集。PCA通过线性变换将原始数据转换成一组各维度线性无关的新变量，这些新...
基于主成分分析(PCA)的故障诊断
06-27
PCA（主成分分析）是一种广泛应用于数据分析和机器学习领域的统计方法，主要用于降低高维数据集的复杂性，同时保持数据集中的主要信息。在故障诊断领域，PCA常被用来识别和预测设备或系统的异常行为，因为故障往往会...
Python之主成分分析
weixin_34280060的博客
12-22 9242
目的：  了解主成分分析、因子分析、判别分析、聚类分析的原理背景  掌握SAS语言进行多变量分析过程（princomp过程和factor过程）  掌握SAS语言进行判别分析 (discrim过程)  掌握SAS语言进行聚类分析（cluster过程，tree过程） 引言：前面介绍SAS的基本统计分析功能。本章我们讲述用SAS进行多元统计分析。 SAS进行多元统计分析的过程包括: 第一类：多变量分析过程，包括princomp(主成分分析)、factor（因子分析）、cancorr(典型相关分析、mult
python 主成分分析
07-27
主成分分析（PCA）是一种经典的统计学方法，可以通过线性变换将数据进行降维，用少数几个变量代替原始的很多变量。它的实现可以使用Python编程语言。\[1\]\[2\] 下面是一个使用Python实现PCA的示例代码： ```python import numpy as np from numpy.linalg import eig from sklearn.datasets import load_iris def pca(X, k): X = X - X.mean(axis=0) # 向量X去中心化 X_cov = np.cov(X.T, ddof=0) # 计算向量X的协方差矩阵，自由度可以选择0或1 eigenvalues, eigenvectors = eig(X_cov) # 计算协方差矩阵的特征值和特征向量 k_large_index = eigenvalues.argsort()\[-k:\]\[::-1\] # 选取最大的K个特征值及其特征向量 k_eigenvectors = eigenvectors\[k_large_index\] # 用X与特征向量相乘 return np.dot(X, k_eigenvectors.T) iris = load_iris() X = iris.data k = 2 X_pca = pca(X, k) print(X_pca) ``` 这段代码使用了NumPy库和scikit-learn库中的load_iris函数来加载鸢尾花数据集。然后，定义了一个pca函数来实现主成分分析。最后，将数据集X降维为k维，并打印出降维后的结果。\[2\] 需要注意的是，PCA的结果是一组新的变量，它们是原始变量的线性组合，因此失去了原有的含义。此外，PCA的解释性较差，主成分往往难以与实际情况中的特征对应，具有一定的模糊性。因此，在每个主成分的贡献率相差不多的情况下，不建议使用PCA。\[3\] 参考链接： \[1\] 如何理解主成分分析法（PCA）清风数学建模学习笔记——主成分分析(PCA)原理详解及案例分析PCA的数学原理【数据处理方法】主成分分析（PCA）原理分析协方差矩阵和矩阵相关系数的理解。 \[2\] 代码实现参考链接 \[3\] PCA的缺陷所在 #### 引用[.reference_title] - *1* [Python机器学习13——主成分分析](https://blog.csdn.net/weixin_46277779/article/details/125533173)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [用python实现主成分分析（PCA）](https://blog.csdn.net/ruoff/article/details/116568680)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [主成分分析法（PCA）的理解（附python代码案例）](https://blog.csdn.net/qq_45722196/article/details/127584340)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Dfreedom.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值