利用PCA进行数据降维

最新推荐文章于 2023-06-08 00:36:22 发布
最新推荐文章于 2023-06-08 00:36:22 发布
阅读量1.8k 收藏 6
点赞数
分类专栏： 学习心得 文章标签： pca降维 机器学习 线性代数 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chaunceyliu30/article/details/109527698
版权
PCA（主成分分析）是一种常用的数据降维方法。本文介绍了PCA的基本原理，包括特征值和特征向量的计算，以及与奇异值分解（SVD）的区别。实践部分展示了PCA在新冠确诊数据上的应用，通过不同数量的主成分重建数据，揭示PCA在高维数据集降维上的有效性。然而，PCA可能导致数据可解释性的丧失，需权衡降维与可解释性的关系。
摘要由CSDN通过智能技术生成

PCA原理


在介绍PCA之前首先要熟悉一下数学推导过程。

特征多项式：

设A为一个方阵，则该方阵的特征多项式就为该方阵减去\lambda倍的单位矩阵后构成的矩阵的行列式。而该多项式的所有解即为\lambda的值，也就是该方阵的特征值。

解得特征值之后如何求得特征向量：

找到特征值后，根据上式定义我们可推出Ax-\lambda x=0,即(A-\lambda )x=0，该式中x即为特征向量，A与\lambda已知，解出上式即可求出方阵A的特征向量，且每个特征值\lambda对应一个特征向量。

特征分解：

最低0.47元/天 解锁文章
Babyface Killer
关注
专栏目录
每天五分钟机器学习：PCA算法如何确定数据压缩降维的最佳维度？
huanfeng_AI的博客
12-17 2263
上节课程中我们已经学习了pca算法，已经知道了如何将n维特征变量降到k维，k是PCA算法的一个参数，也被称为主成分的数量。那么现在就产生了一个问题，这个问题就是如何选择K，因为PCA要做的就是要尽量减少投射的平均均方误差，所以K的选择很关键。
四、PCA降维
星辰的博客
09-18 1791
PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到 降维的目的。举一个简单的例子，在三维空间中有一系列数据点，这些点分布在 一个过原点的平面上。如果我们用自然坐标系x,y,z三个轴来表示数据，就需要使用 三个维度。而实际上，这些点只出现在一个二维平面上，如果我们通过坐标系旋 转变换使得数据所在平面与x,y平面重合，那么我们就可以通过x′,y′两个维度表达原始数据，并且没有任何损失，这样就完成了数据的降维。而x′,y′两个轴所包含的信息就是我们要找到的主成分。
主成分分析PCA降维可视化(PCA降维算法)-MATLAB代码实现
最新发布
MATLAB神经网络
06-08 2876
主成分分析PCA降维可视化(PCA降维算法)-MATLAB代码实现
通过PCA选择合适降维维度
lizz2276的博客
05-21 5180
PCA的作用有：降低特征值维度，提高了计算效率，但丢失了信息。信息在PCA中我们用方差来表示。 一、PCA参数、属性简介 1.介绍PCA方法中参数： n_components： 默认值为保留所有特征值维度，即不进行主成分降维 取大于等于1的整数时，即指定我们希望降维后的维数； 取0-1的浮点数时，即指定降维后的方差和占比，比例越大，保留的信息越多。系统会自行计算保留的维度个数。 2.介绍PCA中的属性： components_：降维后，保留的成分。每一行代表一个主成分，各成分按方差大小排...
PCA.rar_PCA数据降维_pca举例_pca降维_数据降维 PCA_数据降维算法
09-14
5. **投影数据到主成分空间**：利用选中的特征向量，将原始数据投影到这个低维空间，从而完成数据降维。 6. **逆变换（可选）**：如果需要将降维后的数据恢复到原始空间，可以使用主成分的逆变换，但这通常不是PCA...
PCA降维_PCA数据降维_PCA手写体降维_主成分分析_MNIST降维_
10-01
在"PCA降维_PCA数据降维_PCA手写体降维_主成分分析_MNIST降维_"这个主题中，我们将重点讨论PCA如何应用于手写体识别任务，特别是MNIST数据集。MNIST数据集是一个包含70,000个手写数字图像的大型数据库，常用于机器...
matlab利用PCA函数进行降维.zip
05-07
1. **标准化数据**：因为PCA对变量的尺度敏感，所以通常需要先对数据进行标准化，确保每个特征具有相同的均值和方差。 2. **计算协方差矩阵**：标准化后的数据，其协方差矩阵可以反映出各特征之间的相互关系。 3. ...
自主实现PCA和SVM对MNIST数据集进行多分类 1. 利用PCA进行降维 2. 利用SVM进行多分类
04-02
自主实现PCA和SVM对MNIST数据集进行多分类 1. 利用PCA进行降维 2. 利用SVM进行多分类 要求： 1. python编写 2. PCA及SMO算法自行实现 3. 程序注意可读性，添加必要注释
降维与特征选择
12-14
本资源包含利用主成分分析对输入特征进行降维的源代码,以及主成分回归分析和偏最小二乘法的matlab代码
PCA降维(公式推导)
TH_NUM的博客
05-09 1167
PCA PCA线性投影降维的方法。当维度p高，样本少。 p>> N , S=1NXXT S= \frac{1}{N}XX^T S=N1​XXT 因为 xn是Rp×1x_n 是 R^{p \times 1}xn​是Rp×1 所以Rank(xnxnT)≤1Rank(x_nx_n^T) \leq 1Rank(xn​xnT​)≤1 所以 Rank(S)≤NRank(S) \leq NRank(S)≤N 这种情况下，矩阵运算的复杂度O(p3)O(p^3)O(p3)，浪费了很多的时间，得到了很多是0的矩阵。
如何确定PCA降维的维度
洛阳山
05-27 2072
主要是对西瓜书里面的一个思路的实现，并不涉及PCA原理和公式推导，用一句话总结PCA， 文章目录一、思路二、代码实现 一、思路 周志华老师《机器学习》P231 二、代码实现 主要是通过sklearn实现 ...
三种方法实现PCA降维
识物专栏
08-08 4016
记录一下python实现PCA降维的三种方法： 1、直接法 2、SVD 3、Scikit-learn 在进行PCA降维中，会涉及到协方差的相关知识：请参考另一篇博文：协方差的理解与python实现 import numpy as np from sklearn.decomposition import PCA import sys #returns choosing how many main factors def index_lst(lst, component=0, rate=0):.
PCA算法数据降维
喜欢大海
10-16 1346
sklearn.decomposition.PCA参数介绍 下面我们主要基于sklearn.decomposition.PCA来讲解如何使用scikit-learn进行PCA降维。PCA类基本不需要调参，一般来说，我们只需要指定我们需要降维到的维度，或者我们希望降维后的主成分的方差和占原始维度所有特征方差和的比例阈值就可以了。 现在我们对sklearn.decomposition.PCA的主要参数做一个介绍： 1）n_components：这个参数可以帮我们指定希望PCA降维后的特征维度数目。最常用的做法是
PCA降维以及维数的确定
Startapi的博客
06-18 8839
概述 PCA（principal components analysis）即主成分分析技术，又称为主分量分析，旨在利用降维的思想，把多个指标转换为少数的几个综合指标。 主成分分析是一种简化数据集的技术，它是一个线性变换。这个线性变化把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标上（称为第一主成分），第二个大的方差在第二个坐标上（称为第二主成分），以此类推。主成分分析经常用于减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶
PCA降维算法
qq_53086801的博客
09-18 3165
PCA降维算法
python pca降维如何选择维数_主成分分析（PCA）主成分维度怎么选择？
weixin_39579548的博客
12-04 1556
也有不那么主观的方法：把它看成一个 model selection 问题，然后用 model selection 的方法解决。具体例子：Probabilistic PCA + Bayesian model selection。先介绍一下 Bayesian model selection。一般而言，假设我们有数据 ，候选模型集 ，以及对应参数空间集 。Bayesian model selecti...
利用PCA进行降维处理
05-15
PCA（Principal Component Analysis）是一种常用的降维方法，它可以将高维数据映射到低维空间中，保留数据的主要特征。PCA 的基本思想是寻找数据中最主要的方向（即主成分），将数据投影到这些主成分上，实现数据降维。以下是 PCA 的基本步骤： 1. 对数据进行中心化处理，即将每个特征的均值都减去相应的平均值。 2. 计算协方差矩阵。 3. 对协方差矩阵进行特征分解，得到特征值和特征向量。 4. 将特征向量按照对应特征值的大小排序，选取前 k 个特征向量组成降维矩阵。 5. 将数据投影到降维矩阵上，得到降维后的数据。 PCA 的这些步骤可以通过 Python 的 scikit-learn 库来实现。下面是使用 PCA 进行降维的示例代码： ```python from sklearn.decomposition import PCA import numpy as np # 生成高维数据 X = np.random.randn(100, 10) # 创建 PCA 模型，设置降维后的维度为 3 pca = PCA(n_components = 3) # 对数据进行降维处理 X_pca = pca.fit_transform(X) # 打印降维后的数据形状 print(X_pca.shape) ``` 在上面的示例中，我们生成了一个 100x10 的高维数据，然后使用 PCA 对其进行降维处理，将维度降低到了 3。最后打印出降维后的数据形状，可以看到其形状为 100x3。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值