PCA(主成分分析)过程详解

最新推荐文章于 2024-08-17 17:49:51 发布
最新推荐文章于 2024-08-17 17:49:51 发布
阅读量2.7w 收藏 381
点赞数 132
分类专栏： Machine learning 文章标签： PCA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38262266/article/details/100592330
版权

当数据维度太大时，我们通常需要进行降维处理，降维处理的方式有很多种，PCA主成分分析法是一种常用的一种降维手段，它主要是基于方差来提取最有价值的信息，虽然降维之后我们并不知道每一维度的数据代表什么意义，但是它将主要的信息成分保留了下来，那么PCA是如何实现的呢？

我们首先要知道基坐标的概念，基坐标其实就是我们定义的坐标轴，我们平时最常用的基坐标便是X，Y坐标轴，如果我们重新定义了一个基坐标，那么原来的点就需要和新的坐标轴的单位向量做内积，这样才能得到新的坐标轴上点的坐标，这个过程就是基变换，其实就是把原来的点投影到我们重新定义的基坐标轴上。

因为上面我们说了基坐标的概念，那么我们如何选择一个基坐标才能尽量保留更多的信息呢？一种直观的看法就是希望投影后的投影值尽可能分散，为什么呢？因为我们把原来的数据投影到新的坐标轴上，数据只有尽可能分散，那么我们才能更好的将数据区分开来，所以我们就要寻找一个基，使得所有数据变换为这个基上的坐标后，方差值最大，其实就是数据最分散。

但是还有一个问题，如果我们单纯只是选择方差最大的方向，后续方向应该会和方差最大的方向接近重合，其实就是我们的基坐标轴会重合在一起，听不懂也没关系，我们只需要知道我们需要让基坐标的各个坐标轴垂直，不垂直就不好就可以了。

我们需要让基坐标的各个坐标轴垂直的话，那么就有了协方差的概念，协方差其实就是判断两个特征之间的关系，如果我们让协方差等于0，那么两个特征就不相关了，也就是它们对应的基坐标其实就垂直了。

这就是我们优化的目标：

将一组N维向量降为K维ÿ

最低0.47元/天 解锁文章
沐雨金鳞
关注
专栏目录
主成分分析法（PCA）原理和步骤
吴建明wujianming_110117
01-30 2万+
主成分分析法（PCA）原理和步骤 主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据，转换为一组线性不相关的变量，转换后的变量被称为主成分。 可以使用两种方法进行 PCA，分别是特征分解或奇异值分解（SVD）。 准备工作 PCA 将 n 维输入数据缩减为 r 维，其中 r<n。简单地说，PCA 实质上是一个基变换，使得变换后的数据有最大的方差，也就是通过对坐标轴的旋转和坐标原点的平移，
主成分分析操作步骤
qq_41301428的博客
07-22 5969
矩阵的思想 方程式 用syms定义变量。 方程式都可以化为矩阵相乘。 输出结果用vpa()保留小数。vpa(Y,4); 当在回归分析中，显著性没有满足要求的（小于等于0.05），进行因子分析。 操作步骤： 1、原始数据 2、将原始数据标准化 3、进行降维因子分析。 利用matlab处理数据 4、求f矩阵 如果想得出所有因素的情况下，综合评估。可将f矩阵的每一行进行加权平均。（除原有因素的数量），然后进行评估。 6、将f矩阵的每一个列向量f1、f2、f3作为自变量，与原始数据的因变量进行多元回
主成分分析法（PCA）
weixin_45142381的博客
10-03 3万+
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。
主成分分析（主元分析PCA）
2301_81462353的博客
08-17 1798
主成分分析的思想和意义 （一）主成分分析的简介 现代社会的大数据主要呈现出数据多，纬度高，信息杂特点，极大受到计算性能的影响。同时数据内涵盖的噪声也会对后续的处理产生一定的影响。 如果能够简化原始数据，将对后续的处理和计算变得更加容易。同时再简化原始数据的时候，应该尽可能的保留原始数据的信息以保留计算精度。通过简化原始数据，保留原始数据的信息，可以在保留计算精度的基础上增加计算效率，这也称之为降维。 本节我们将要介绍的逐层分汾西或者叫
主成分分析法（PCA）基础概念整理+步骤总结
g28_gerwulf的博客
07-08 1万+
在一组多变量的数据中，很多变量常常是一起变动的。一个原因是很多变量是同一个驱动影响的的结果。在很多系统中，只有少数几个这样的驱动，但是多余的仪器使我们测量了很多的系统变量。当这种情况发生的时候，你需要处理的就是冗余的信息。而你可以通过用一个简单的新变量代替这组变量来简化此问题。 概念 主成分分析是一个定量的严格的可以起到简化作用的方法。它产生一组叫做主成分的新变量，每一个主成分是原始变...
图文并茂的PCA教程（Principal Component Analysis，即主成分分析）
12-19 6163
PCA——主成分分析 PCA全称Principal Component Analysis，即主成分分析，是一种常用的数据降维方法。它可以通过线性变换将原始数据变换为一组各维度线性无关的表示，以此来提取数据的主要线性分量。   其中，z为低维矩阵，x为高维矩阵，w为两者之间的映射关系。假如我们有二维数据（原始数据有两个特征轴——特征1和特征2）如下图所示，样本点分布为斜45°的蓝色椭圆区域。P...
python主成分分析_Python机器学习笔记：主成分分析（PCA）算法
weixin_39570530的博客
11-28 1667
一：引入问题首先看一个表格，下表是某些学生的语文，数学，物理，化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系，那么如何判断三个学生的优秀程度呢？首先我们一眼就能看出来，数学，物理，化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数据成绩拉的最开）。那么为什么我们能一眼看出来呢？当然是我们的坐标轴选对了！！下面，我们继续看一个表格，下...
PCA过程
weixin_42936560的博客
02-21 818
PCA（Principal Component Analysis），也称为主成分分析。降维可以解决三类问题： 缓解维度灾难 在压缩数据的同时让信息损失最小化 维度少的数据通过可视化更容易理解 从数学的角度来看，PCA的目标是什么呢？它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，即把原先的n个特征用数目更少的m个特征取代，并且，我们希望在所投影的维度上数据的方差最大，尽量使新的m个...
PCA的过程
行路者
08-09 5343
操作流程： 1、去除平均值，让每一维特征减去各自特征的平均值 2、计算协方差矩阵 如果数据是三维的，那么协方差矩阵是这样的。主对角线上是方差，非对角线是两两元素的协方差。 协方差的绝对值越大，对彼此的影响就越大。 3、计算协方差矩阵的特征值与特征向量 4、对特征值从大较小的排序 5、选择最大的K个特征值，对应的特征向量 6、将数据转换到K个特征向量构建的新空间中。 具体做法是...
PCA（主成分分析）-------原理，推导，步骤、实例、代码
xxty1122的博客
04-09 6万+
最近一直在学习主成分分析（PCA），所以想把最近学的一点知识整理一下，如果有不对的还请大家帮忙指正，共同学习。一、PCA简介1.概念：主成分分析是一种统计方法，通过正交变换将一组可能存在相关性的变量转换成一组线性不相关的变量，转换后的这组变量叫主成分。2.思想：PCA的思想是将n维特征映射到m维上（m&lt;n），这m维是全新的正交特征，称为主成分，这m维的特征是重新构造出来的，不是简单的从n维特...
主成分分析（PCA）原理详解
热门推荐
Microstrong
06-09 65万+
“微信公众号”本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Xt1vLQfB20rTmtLjiLsmww本文同步更新在我的知乎专栏里面：主成分分析（PCA）原理详解 - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/377770741.相关背景在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观...
NTSYS-pc做主成分分析（PCA）操作步骤
11-14
本人利用NTSYS-PC做主成分分析的操作步骤视频
pca主成分分析用matlab实现,PCA （主成分分析）详解 （写给初学者） 结合matlab
weixin_35511284的博客
03-16 2840
一、简介PCA(Principal Components Analysis)即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题时，比如经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像。这时，我们通常的方法是对图像库中的图片提取响应的特征，如颜色，纹理，sift，surf，vlad等等特征，然后将其保存，建立响应的数据索引，然...
主成分分析（PCA）原理及过程
qq_25105061的博客
07-17 2161
首先，感谢一下这篇文章的作者：主成分分析原理及过程 PCA原理及过程 在机器学习中，对于数据维度过多问题，提出了一种降维算法叫做PCA算法。具体的降维：例如评估一个国家的GDP水平，需要考量到人口、收入、人均工资等等成千上万个因素。这每一个因素，我们叫做一个feature。如果feature过多，对于我们编写机器学习算法会有很大影响。而feature过多就是我们所说的维度灾难，为了解决这一问题，就提出了众多的降维算法，而今天所说的PCA只是其中一种。降维就是将原本过多的feature，映射到数量更少的fea
机器学习算法——主成分分析（PCA）
huangQK的博客
01-01 2865
主成分分析（Principal Component Analysis, PCA）是一种常用的数据降维方法，它可以将高维数据转化为低维数据，同时尽量保留原有数据的信息。
主成分分析（PCA）及其可视化——python
PY洋洋
11-17 9万+
一、主成分分析的原理 主成分分析是利用降维的思想，在损失很少信息的前提下把多个指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称之为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，这就使得主成分比原始变量具有某些更优越的性能。这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使问题得到简化，提高分析效率。 主成分分析正是研究如何通过原来变量的少数几个线性组合...
主成分分析（PCA）步骤及代码
weixin_52952969的博客
05-25 5458
文章介绍了主成分分析的步骤，并附上了matlab和python的代码详解，在文章最后还有关于主成分分析的一些常见问题和应用方法。
线性代数——PCA主成分分析计算步骤
snowdroptulip的博客
04-05 1万+
主成分分析线性代数概念复习向量的内积基协方差矩阵实对称矩阵特征值和特征向量主成分分析的计算步骤 本文不会深究原理，如果有时间我会把原理补上，这篇文章主要是讲主成分分析的计算步骤。 在开始详细介绍PCA算法前，我们先来复习一下线性代数中几个重要的概念 线性代数概念复习 向量的内积 假设a⃗=[a1a2...an]\vec{a}=\begin{bmatrix} a_1 \\ a_2 \\ ...\\...
主成分分析pca流程图
最新发布
08-31
主成分分析（PCA）是一种统计技术，它使用正交变换将一组可能相关的变量转换为一组线性不相关的变量，这组新的变量称为主成分。PCA流程大致可以分为以下几个步骤： 1. 数据标准化：由于PCA受数据尺度影响较大，因此首先需要对数据进行标准化处理，使得每个特征的均值为0，方差为1。 2. 计算协方差矩阵：标准化后的数据用于计算协方差矩阵，该矩阵描述了各个变量之间的协方差，即变量间的线性关系。 3. 求解协方差矩阵的特征值和特征向量：通过求解协方差矩阵的特征值和对应的特征向量，可以找到数据中最重要的线性组合。 4. 选择主成分：根据特征值的大小进行排序，选择前k个最大的特征值对应的特征向量。这些特征向量构成了一个投影矩阵，用于将原始数据投影到由这些特征向量张成的新空间中。 5. 数据转换：使用步骤4中得到的投影矩阵将原始数据转换到新的空间中，即得到主成分。 6. 分析结果：最后对转换后的数据进行分析，可以用于数据降维、可视化或是进一步的数据挖掘任务。
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值