PCA降维的主方向和协方差矩阵的特征向量，有什么关系？

于 2021-08-20 13:01:58 发布
阅读量494 收藏 1
点赞数
分类专栏： ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hodors/article/details/119807766
版权

PCA降维的主方向和协方差矩阵的特征向量，有什么关系？

1、特征向量就是新的基；

2、特征向量（指特征值最大的那个）的方向就是方差最大的那个投影方向；

这里的降维其实是投影的意思，因为我依然选取了两个维度的特征向量。

降维后，样本的协方差矩阵↑

那么问题来了，降维之后的样本，其非对角线上的元素也基本上趋近于0，PCA和ICA有什么区别呢？

通过求协方差矩阵的特征值和特征向量，可以对样本进行一次改造。改造后的这些维度，已经没有相关性了啊。可以说是完全独立的随机变量了啊。

这不就是ICA要找信号源码？为什么还有ICA这样的方法？

fK0pS
关注
专栏目录
PCA 原理：为什么用协方差矩阵
LJRice的博客
05-12 3万+
PCA的理论知识以及与K-L变换的关系 PCA是主成分分析(Principal Components Analysis)的简称。这是一种数据降维技术，用于数据预处理。一般我们获取的原始数据维度都很高，那么我们可以运用PCA算法降低特征维度。这样不仅可以去除无用的噪声，还能减少很大的计算量。 K-L转换(Karhunen-Loève Transform)是建立在统计特性基础上的一种转换，它是均方...
pca降维后的特征跟原来的特征有什么关系?_PCA和SVD的联系和区别？
weixin_39599081的博客
12-20 391
这个问题我估计一大半人答不上来，看似两者都是降维的方法，但是两者到底有啥不同呢？假设令 为要降维的矩阵，且假设这个矩阵是中心化的.对于PCA来说，要求一个协方差矩阵 ，则 ,这是一个对称阵且可以被对角化，即 (Eq.1)其中 是特征向量， 是对角矩阵中间数值为 ， 就是降维后的向量，降维多少看你取前多少个特征向量了。对于SVD来说，就是要对矩阵 进行如下： (Eq...
特征方向说说主成分分析(PCA)的源头
weixin_34409357的博客
05-17 391
每日一贴,今天的内容关键字为特征方向        主成份分析（PCA） 在很多教程中做了分析，但是为何通过协方差矩阵的特征值分解可以得到数据的主成份？协方差矩阵和特征值为何如此奇异，我却一直没弄清。今天终究把整个进程整理出来，方便自己学习，也和大家交流。      提出背景            以二维特征为例，两个特征之间可能存在线性关系的（例如这两个特征分别是运动的时...
PCA降维之后的样本，其协方差矩阵为对角矩阵。
Kp0fS的草稿纸
08-19 495
我们知道PCA降维的目标函数是尽可能地保留原始样本X中的方差信息。 所以降维后样本的协方差矩阵其对角线上元素尽可能得大我是理解，并认可的。 但为什么非对角线元素均为零呢？ 降维之后的样本，各个维度之间的相关性完全被切除了。 以下是实验code 降维前 样本协方差矩阵： 可以看到d1和d2关系不大，但d1和d3关系密切；d2和d3关系也不大； 降维后： 样本的协方差矩阵： 所以，为啥非对角线上的元素为0呢？ 难道是因为特征向量是正交的...
机器学习实战：PCA降维 样本协方差
lijil168的专栏
04-20 640
先用matlab试试样本协方差：   >> X=[1,3;2,4;0,6] X =      1     3      2     4      0     6 注意，行表示样本点，列表示属性列向量。以前使用matlab习惯用列向量表示点。 以下去除平均值、中心化（类似移动坐标系到样本质心） >> removMeanX=X-[mean(X);mean(X);mean(X)] r
教程 | 从特征分解到协方差矩阵：详细剖析和实现PCA算法
java、c++、机器学习方向King
07-06 3580
https://baijia.baidu.com/s?id=1572059580053513&wfr=pc&fr=ch_lst&utm_source=tuicool&utm_medium=referral 摘要：机器之心编译参与：蒋思源本文先简要明了地介绍了特征向量和其与矩阵的关系，然后再以其为基础解释协方差矩阵和主成分分析法的基本概念，最后我们结合协方差矩阵和主成分分析法实现数据降维。
PCA.rar_PCA 特征提取_PCA数据降维_pca特征降维_主分量分析_数据特征降维
09-14
接下来，通过求解协方差矩阵的特征值和特征向量，找到数据的主要方向。特征值对应于主成分的方差，特征向量则是主成分的方向。按照特征值的大小排序，选取前k个具有最大特征值的特征向量，构建新的坐标系，将原始...
PCA.rar_PCA python实现_Python PCA_pca Python_pca协方差_矩阵 python
09-21
3. **求解特征值和特征向量**：协方差矩阵是实对称矩阵，因此可以进行谱分解，得到其特征值和对应的特征向量。特征值代表了各个主成分的方差，而特征向量则对应了主成分的方向。 4. **排序特征值与特征向量**：根据...
PCA.rar_PCA数据降维_pca举例_pca降维_数据降维 PCA_数据降维算法
09-14
这个脚本可能包含了上述提到的PCA步骤，例如计算协方差矩阵、求解特征值和特征向量、投影数据等。 通过运行"PCA.m"脚本，你可以将自定义的数据集应用到PCA算法上，实现数据的降维。这种方法对于理解和可视化高维...
PCA_pca降维_主元分析_降维_
10-03
3. 求解特征值与特征向量：协方差矩阵的特征值代表了主元的重要性，特征向量对应于主元的方向。 4. 选择主元：按照特征值大小排序，选择前k个具有最大特征值的特征向量，形成降维后的主元空间。 5. 数据投影：将原始...
降维时为什么找最大的特征值对应的特征向量
liuql的博客
03-08 3078
特征向量 规则变换模式，并保留原数据的信息 特征值 变化强度 最大的特征值  保证数据更容易分开
如何理解协方差矩阵？PCA降维是怎么使用到协方差矩阵的？
然后就去远行
01-07 1263
1.统计学的基本概念 统计学里最基本的概念就是样本的均值、方差、标准差。首先给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值：x‾=∑i=1nxin\overline{x}=\frac{\sum_{i=1}^nx_i}{n}x=n∑i=1n​xi​​ 标准差：s=∑i=1n(xi−x‾)2n−1s = \sqrt{\frac{\sum_{i=1}^n(x_i-\overline{x...
PCA降维
xdy1120的博客
11-07 512
假设我们的数据集有10个二维数据(2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9)，需要用PCA降到1维特征。 首先我们对样本中心化，这里样本的均值为(1.81, 1.91),所有的样本减去这个均值后，即中心化后的数据集为(0.69...
PCA主成分分析的理论推导（为什么选择协方差矩阵的最大特征值对应的特征向量作为投影方向？）
沙丁鱼鱼鱼
07-07 4986
协方差矩阵相关概念、性质、应用意义及矩阵特征向量的用处
小勺挖泰山的博客
09-10 3万+
协方差矩阵相关概念、性质、应用意义及矩阵特征向量的用处
机器学习——PCA降维
Bruce_0712的博客
10-24 1022
参考文章：https://zhuanlan.zhihu.com/p/77151308 PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最大重构性两方面进行，前者的优化条件为划分后方差最大，后者的优化条件为点到划分平面距离最小。由于基于最大重构性的 PCA 其与 LDA（线性判别法）的数学推导有异曲同工之处，所以我只从最大可分性进行证明，而最大重构性将留在介绍 LDA 算
通俗理解PCA降维作用
热门推荐
HLBoy_happy的博客
08-13 8万+
本文主要介绍一种降维方法，PCA（Principal Component Analysis，主成分分析）。降维致力于解决三类问题。 1. 降维可以缓解维度灾难问题； 2. 降维可以在压缩数据的同时让信息损失最小化； 3. 理解几百个维度的数据结构很困难，两三个维度的数据通过可视化更容易理解。。
PCA中的协方差
weixin_45671036的博客
12-24 2923
PCA中的协方差协方差什么是特征矩阵协方差与相关系数合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 协方差 记录的主要是降维算法PCA中的协方差，最近在学习PCA，对协方差这一块儿进行一个总结，方便个人复习回顾，本文为个人理解，难免会有错误
PCA算法之特征值分解
shiyueyue0822的博客
03-06 1041
奇异值分解和特征值分解都是对矩阵进行分解的不同方法，所谓分解，即使将原矩阵拆分成另一种表达方式，且新的表达方式比原矩阵更简单，更具有实际意义。奇异值分解对象可以使任意n*m维的矩阵，而特征值分解只能针对n*n的方阵，特征值分解从某种意义上来说可以算是奇异值分解的一种特殊情况，所以下面先对特征值分解进行一个描述。 对角阵： 其实这种矩阵有特殊性，比如除了其主对角线元素外的所有元素都是0，这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值