PCA主成分分析算法

最新推荐文章于 2024-08-11 23:49:39 发布
最新推荐文章于 2024-08-11 23:49:39 发布
阅读量643 收藏 6
点赞数 2
分类专栏： 机器学习 文章标签： 算法 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50661271/article/details/125882848
版权
PCA主成分分析是一种降维方法，通过保留方差最大的方向作为新的基，以达到减少数据特征但保持数据本质的目的。它涉及向量内积、基变换、方差和协方差等数学概念。PCA通过计算协方差矩阵并对其对角化来找到特征向量，然后进行降维。该方法有计算简单、消除共线性等优点，但也存在无法解释降维后数据和可能丢失重要信息的缺点。在参数设置中，n_components指定降维后的维度，svd_solver选择SVD算法，而白化选项whiten可选择是否进行数据归一化处理。
摘要由CSDN通过智能技术生成

文章目录

主成分分析法的作用

  • 通用的降维工具

降维

  • 数据的特征又叫做数据的维度，减少数据的特征即降维

降维效果的影响

  • 减少数据维度的同时能较好地代表原始数据
    在这里插入图片描述

前导数学知识介绍

向量的内积

在这里插入图片描述

基

在这里插入图片描述

基变换

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

方差

为了有效的保留更多的原始数据。我们采用方差最大的方向最为最优基。
在这里插入图片描述

方差的计算

在这里插入图片描述

协方差

为了找到最合适基。计算出各属性的协方差
在这里插入图片描述

目标

利用协方差为0，选择另一组基，这组基的方向一定与第一组基正交。

推广

将一组N维向量降为K维(K大于0，小于N)，其目标是选择K个单位,(模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大(在正交的约束下，取最大的K个方差)

协方差矩阵

在这里插入图片描述

协方差矩阵对角化

在这里插入图片描述
在这里插入图片描述

找到特征向量

在这里插入图片描述

计算步骤

  1. 将原始数据按列组成n行m列矩阵X;
  2. 将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值
  3. 计算协方差矩阵 C = 1 m X X T C=\frac{1}{m}XX^T C=m1​XXT
  4. 求出协方差矩阵的特征值及对应的特征向量;
  5. 将特征向量按对应特征值大小从上到下按行排列成矩
最低0.47元/天 解锁文章
WL725
关注
专栏目录
pca主成分分析结果解释_PCA主成分分析（完结）
weixin_39878401的博客
11-21 1491
人有时候走着走着，放不下的东西太多，就会迷失自己。其实回归初心，换一个角度去看待问题，一切就变得豁然开朗了。PCA的思想是把过度关联在一起事务视为“噪声”，认为它们干扰试听，并占据不必要的运算空间，故有“去关联”这一操作。而这种“去关联”又是站在“有关联”的角度上解决问题的。找到原本的关联规律，“俯视”这个规律，一切就清晰可见了。空间分散的点，换个角度，可以用一个平面穿过它们。俯视点到平...
主成分分析法（PCA）原理和步骤
RosebudTT的博客
05-14 1463
主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分。 可以使用两种方法进行 PCA，分别是特征分解或奇异值分解（SVD）。 假定有 p×n 维数据样本 X，共有 p 个样本，每行是 n 维，p×n 实矩阵可以分解为： 这里，正交阵 U 的维数是 p×n，正交阵 V 的维数是 n×n（正交阵满足：UUT=VTV=1），Σ 是 n×.
主成分分析（pca的两种实现）
HUIxihuanni的博客
05-09 3428
主成分分析（Principal Component Analysis，PCA）。在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。我们会发现，大部分方差都包含在最前面的几个新坐标轴中。因此，我们可以...
主成分分析(PCA)
最新发布
blinkyou001的博客
08-11 6503
本文讲解了主成分分析（PCA）的基本原理，并利用python进行了实例演示。
点云粗配准：主成分分析法PCA（matlab）
我的blog屋
04-09 5171
QQ群招募中：646258285（招募中，没几个人说话）， 需要交流的朋友可以直接加我微信( DntBeliv )或QQ( 1121864253 ) function plot_3d( data_source, color ) x1=data_source(:,1); y1=data_source(:,2); z1=data_source(:,3); ...
PCA主成分分析
qq_41481924的博客
09-16 1323
Sklearn中的降维算法 PCA和SVD class sklearn.decomposition.PCA (n_components=None, copy=True, whiten=False, svd_solver=’auto’, tol=0.0, iterated_power=’auto’, random_state=None) 二维数据的降维 重要参数：n_components 案例： import numpy as np import matplotlib.
PCA主成分分析算法技术.doc
03-30
主成分分析亦称“主分量分析”或“分量分析”等，它是指将多个相关变量简化为少数几个不相关变量的一种多元统计方法.其目的在于简化统计数据和揭示变量间的关系.每个主成分是初始变量的线性组合，所有主成分间相互...
PCA主成分分析算法实现
06-24
PCA是主成分分析，用于数据降维。
机器学习基础——PCA主成分分析算法
夏未眠秋风起的博客
04-02 975
1.背景 PCA算法主要用于降维，将高维的特征映射到低维的空间中。假设，我没有20个数据，每个数据特征100维，即(20,100)。通过降维，我们可以将将100维的特征降到10维，即(20,10）这样就大大减小了计算量。 一般，降维后的特征数不超过样本数 2.算法步骤 将每个特征进行零均值化，即每个特征减去该特征的均值，比如上面的例子(20,100)有100个特征，对每一列求均值 ...
PCA主成分分析java实现
07-01
用java实现的主成分分析算法，用了Jama.Matrix，用的是Jama-1.0.2.jar。代码有备注，希望有帮助。
pca特征提取java,特征提取——主成分分析(PCA)
weixin_30295121的博客
03-13 800
特征提取——主成分分析(PCA)2018/5/23引言：特征提取是机器学习中很经常使用数据处理方式，通常都出如今实际搭建模型以前，以达到特征空间维度的变化(常见是降维操做)。特征提取是经过适当变换把已有样本的D个特征转换成d((<D)个新特征。这样作的主要目的有：web下降特征空间的维度，使后续的分类器设计在计算上更容易实现；消除原有特征之间的相关度，减小数据信息的冗余，更有利于分类。前面提...
机器学习(四)——PCA主成分分析
hhhcbw的博客，欢迎各位来访
12-01 2430
引言 我们在完成一个机器学习任务比如线性回归，所使用数据的维度可能非常高(训练测试耗时大且占内存大)，或者属性之间可能具有相关性，比如奖学金和绩点（奖学金也反映了绩点的情况），这就会造成数据的冗余。这时我们就可以用到 PCA(Principal components analysis)主成分分析，来对数据进行降维，减小数据的冗余。 PCA的思想 当然，PCA 不是简单地选择几个属性或者说是去除几个属性，它是综合考虑了所有属性，确定出几个主成分（或者说是新的属性），这个主成分可以说是原始属性的综合。 所以
机器学习基础-主成分分析PCA-16
gemoumou的python学习实记
02-19 299
主成分分析PCA(Principal Component Analysis) PCA-简单例子 import numpy as np import matplotlib.pyplot as plt # 载入数据 data = np.genfromtxt("data.csv", delimiter=",") x_data = data[:,0] y_data = data[:,1] plt.scatter(x_data,y_data) plt.show() print(x_data
PCA（explained_variance_ratio_与explained_variance_）
vivi_cin的博客
10-28 357
下面我们主要基于sklearn.decomposition.PCA来讲解如何使用scikit-learn进行PCA降维。PCA类基本不需要调参，一般来说，我们只需要指定我们需要降维到的维度，或者我们希望降维后的主成分的方差和占原始维度所有特征方差和的比例阈值就可以了。现在我们对sklearn.decomposition.PCA的主要参数做一个介绍：1）：这个参数可以帮我们指定希望PCA降维后的特征维度数目。最常用的做法是直接指定降维到的维度数目，此时n_components是一个大于等于1的整数。
使用主成分分析(PCA)进行特征降维
唐犁的博客
07-30 1005
主成分分析(Principal Component Analysis)是一种无监督的降维算法。不同于，PCA不需要数据集中包含类别标签，其核心思想是将高维特征映射到新的空间后，按照新空间各个特征重要性有序选取坐标轴。新空间构建时，第一个坐标轴选取原始数据映射后方差最大的方向，后续坐标轴均保证与之前坐标轴正交的情况下方差最大，重复该过程直至新空间维度与原始特征数相等，或新空间维度数量达到降维需求。
数据归约——主成分分析PCA
weixin_56631477的博客
11-12 2281
人们希望用较少的变量来代替原来较多的变量，这种代替可以反映原来多个变量的大部分信息，这实际上是一种“降维”的思想。一般要求所选主成分的方差总和占全部方差的80%以上，一般来说，主成分的累计方差贡献率达到80%以上的前几个主成分，都可以选作最后的主成分。（6）根据主成分分析模型和主成分载荷，可以得到主成分与原来变量之间的线性组合表达式。：如果第一个主成分不足以代表原来的变量，在考虑选择第二个主成分，依次类推。（3）确定主成分：特征值越大，则对应的特征向量表示的主成分的方差越大。
PCA的本质----特征值分解
热门推荐
Sunshine_in_Moon的专栏
05-27 1万+
相信大家对PCA并不陌生，但是PCA的本质你是否了解呢？今天就给大家简单讲讲，也是自己对PCA的一个巩固。博客中使用的图片来自七月算法的程博士的PPT，在此感谢程博士课上的耐心讲解。      1、特征值个特征向量     我相信大家对于这个式子非常熟悉，但是你真正的理解这个式子了吗？特征向量和特征值到底有什么意义呢？说实话，在听程博士的课之前我一直迷惑，不过现在懂了。     首先，我们
PCA主成分分析在故障诊断中的应用
"PCA主成分分析算法是一种统计学方法，用于将多个相关变量转换成少数不相关的主成分，以简化数据并揭示变量间的关系。这种方法的核心是降维，通过线性组合原始变量来构建新的正交变量，这些新变量称为主成分。PCA...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值