样本投影后的协方差矩阵如何推导？

最新推荐文章于 2022-08-15 14:16:01 发布
最新推荐文章于 2022-08-15 14:16:01 发布
阅读量604 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hodors/article/details/119608321
版权

样本

样本的协方差矩阵

 

计算样本投影后的协方差矩阵推导

 

fK0pS
关注
机器学习强基计划1-4：从协方差的角度详解线性判别分析原理+Python实现
FRIGIDWINTER的博客
08-15 2698
线性判别分析是一种将样本投影到低维空间进行分类的方法，本文从协方差的物理意义出发探索LDA算法的物理意义和算法原理，并给出Python实现
SLAM_信息矩阵&协方差矩阵
惊鸿一博
03-02 5467
信息矩阵是协方差矩阵的一个逆矩阵，这个怎么理解呢？没什么意义，香农形式，这里是推导出来的，只是换了一种数学表达形式，那为什么需要信息矩阵呢？
机器学习--主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？
离散优化
07-10 1245
原文链接：https://blog.csdn.net/special00/article/details/84071158 这是从网上看到的PCA算法的步骤：第一步，分别求每列的平均值，然后对于所有的样例，都减去对应的均值。第二步，求特征协方差矩阵。第三步，求协方差的特征值…显示全部 关注者 1,218 被浏览 78,113 关注问题写回答 ​添加评论 ​分享 ​邀请回答 ​ 22个回答 默认排序​ 至于t-SNE为啥牛， 这里给两个对比图片， 然后我们再回到PCA，...
样本的协方差矩阵有什么用
Kp0fS的草稿纸
08-11 425
坑
机器学习中的数学（六）：线性判别分析（LDA）, 主成分分析(PCA)
qq_37692302的博客
06-13 1956
前言 如果学习分类算法，最好从线性的入手，线性分类器最简单的就是LDA，它可以看做是简化版的SVM，如果想理解SVM这种分类器，那理解LDA就是很有必要的了。谈到LDA，就不得不谈谈PCA，PCA是一个和LDA非常相关的算法，从推导、求解、到算法最终的结果，都有着相当的相似。 本次的内容主要是以推导数学公式为主，都是从算法的物理意义出发，然后一步一步最...
线性判别分析_简单理解线性判别分析
weixin_39671509的博客
12-18 1144
这几天看了看SVM的推导，看的是真的头疼，所以来写一写自己可以搞明白的线性判别分析，让自己心情好一些。封面：电影《风之谷》线性判别分析是一种线性的分类模型。线性分类模型是指采用直线（或超平面）将样本直接划开的模型，其形式可以表示成 的形式，划分平面可以表示成 。这里可以看出，线性分类模型对于样本的拟合并不一定是线性的，例如逻辑回归(外面套了一层sigmod函数)和感知机(外面套了一层激活函数)...
关于统计样本协方差矩阵与其特征值的一点思考
weixin_44684701的博客
07-31 1297
要研究统计量，当然是要先有样本，首先，随机生成一堆二维坐标点，如图所示。 图1 二维样本点坐标表示 从图中可以看出，坐标点平铺于二维平面（而不是在一条直线上），所以不用担心协方差矩阵不可逆的问题。 首先用矩阵的方法表示这些点 其中，统计向量还是按列向量表示，其上标表示序列标号而不是数值乘方运算。 在这样表示的前提下，对协方差矩阵的可以写为： 其中表示统计样本在各个维度上的均值，换句话说，的操作或的操作其实...
协方差矩阵1
08-08
投影后，可以计算投影的协方差矩阵： Σ_new = U^T Σ U 然后，可以选择前 k 个特征值对应的特征向量作为主成分。 5. 结论 协方差矩阵是一种重要的统计概念，它广泛应用于数据分析、机器学习和信号处理等领域。...
lda 协方差矩阵_线性判别分析LDA详解
weixin_39917211的博客
12-19 1257
1 Linear Discriminant Analysis相较于FLD(Fisher Linear Decriminant)，LDA假设:1.样本数据服从正态分布，2.各类得协方差相等。虽然这些在实际中不一定满足，但是LDA被证明是非常有效的降维方法，其线性模型对于噪音的鲁棒性效果比较好，不容易过拟合。2 二分类问题原理小结：对于二分类LDA问题，简单点来说，是将带有类别标签的高维样本投影到一个...
PCA 原理：为什么用协方差矩阵
LJRice的博客
05-12 3万+
PCA的理论知识以及与K-L变换的关系 PCA是主成分分析(Principal Components Analysis)的简称。这是一种数据降维技术，用于数据预处理。一般我们获取的原始数据维度都很高，那么我们可以运用PCA算法降低特征维度。这样不仅可以去除无用的噪声，还能减少很大的计算量。 K-L转换(Karhunen-Loève Transform)是建立在统计特性基础上的一种转换，它是均方...
LDA线性判别原理解析＜数学推导＞
【AI机器学习与知识图谱】的博客
03-09 9977
LDA (Linear Discriminant Analysis)是机器学习中线性分类模型，本文从以下三个方面进行解析： 一、LDA线性判别的思想 二、LDA求参过程的数学原理 三、LDA实例应用（贝叶斯角度）LDA分类思想（1）对于多维空间中的数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上，将 d维 数据转化为 1维 数据进行处理；（2）对于训练数据，设法将多维数据
机器学习-学习笔记（三）第三章 线性模型
Avlon的博客
07-18 435
线性模型试图通过一个属性的线性组合来得到一个预测值进行预测，即 或者可以写成矩阵形式，即 其中和b通过学习得到，线性模型非常容易理解，他通过对所有属性进行综合考虑来进行预测，其中权值可以理解为某个属性的重要程度，例如在判断苹果是否成熟的问题上，表皮的颜色就是很重要的判断依据，而相对来说苹果的形状可能没有那么重要，在模型中则反映在权值的大小上。线性模型也是许多复杂模型的基础，理解线性模型...
西瓜书-第3章-线性模型
u010921136的博客
05-13 311
线性模型 多分类学习 OvO OvR MvM ECOC 类别不平衡问题
从协方差的角度详解线性判别分析原理+Python实现
m0_72557783的博客
08-15 1085
机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。.........
协方差矩阵学习心得
Mike_69的博客
02-12 2345
协方差矩阵的物理意义主要分为对角阵和非对角阵来记录。 1.基础知识 一维数据中： 方差：描述数据的偏离程度，数值越大偏离越大 标准差：描述数据的聚散程度。数值越大散度越大，除以 N-1 二位数据中： 协方差：描述两个随机变量之间的相关性，随着X变大Y变大则为正相关，否则为负相关。cov=0则不相关。由此可知，xy独立一定不相关，但是xy不相关，不一定独立。在高斯过程中，不相关和独立是等价的，因此高斯情况下不相关的xy独立，可以将联合分布分开乘。 协方差矩阵中的每个量都是相同样本下不
终于明白协方差的意义了
热门推荐
northeastsqure的专栏
12-03 7万+
协方差代表了两个变量之间的是否同时偏离均值。   如果正相关，这个计算公式，每个样本对（Xi, Yi）,　每个求和项大部分都是正数，即两个同方向偏离各自均值，而不同时偏离的也有，但是少，这样当样本多时，总和结果为正。下面这个图就很直观。下面转载自：http://blog.csdn.net/wuhzossibility/article/details/8087863 在概率论中，两
什么是协方差(covariance)？（延伸到 协方差矩阵、多元高斯分布、PCA）
子燕若水的博客
06-08 5万+
协方差是一个统计量，是对一个样本的某一统计特性给出的一个估算量。 常见统计量
机器学习：协方差的全面理解
pantingd的博客
06-23 2406
先从方差开始，我们有一组样本x1、x2、x3····xn，这组样本的均值为E(X)，每一个样本都与E(X)之间存在误差，那么这组样本的方差被定义为：所有误差的和的均值，也即 [Σ(xi-E(X))^2]/(n-1)， 方差的作用就是用来“衡量样本偏离均值的程度”。 下面开始看协方差，协方差的计算公式如下图： 仔细观察上述定义式，可知：如果两个变量的变化趋势一致，也就是说如果X大于自身均值时Y也大于自身均值，那么X与Y变量的协方差就是正值；如果两个变量的变化趋势相反，即X变量大于自身的均值时另外一个却小于自
协方差矩阵_特征值和特征向量
idhfihfoihfof的专栏
08-28 2万+
协方差理解： 对于一个样本集合S，如果每个样本是一个n维空间中的一个列向量，则使用协方差矩阵描述样本之间的变化程度， 协方差矩阵的定义式： 其中，Xi和Xj分别表示第i个维度上的样本和第j个维度上的样本。 协方差矩阵C是一个n*n维的方阵，协方差矩阵的元素值代表了样本集在对应方向上的方差，例如：C的对角线上的元素C(i,i)代表了样本集在第i个维度上的方差，也即代表样本集在第i个维度上
在使用PCA降维过程中，为什么希望协方差矩阵中方差尽可能大，协方差为0？
最新发布
05-25
在PCA降维中，我们希望找到一个新的坐标系，使得在这个新的坐标系下，样本数据的方差尽可能大，同时不同维度之间的协方差尽可能小。 具体来说，对于一个样本集合，我们可以将其表示为一个矩阵X，其中每一行表示一个样本，每一列表示一个特征。我们希望将这个矩阵X投影到一个新的坐标系上，得到一个新的矩阵Y，其中每一行表示一个样本，每一列表示一个新的特征。我们希望新的特征是原始特征的线性组合，即Y=W*X，其中W是投影矩阵。为了使得投影后的数据方差尽可能大，我们希望投影后的数据在每一个新的特征维度上的方差都尽可能大，即最大化投影后数据的协方差矩阵，也就是新特征矩阵Y的协方差矩阵。而我们知道，协方差矩阵的对角线元素表示该特征在样本中的方差，因此我们希望新特征矩阵的协方差矩阵中的对角线元素尽可能大，即新特征矩阵的每个新特征方差尽可能大。 另外，我们希望不同维度之间的协方差尽可能小，这可以保证新特征矩阵的各个新特征之间不会有重复信息，即新特征矩阵中的不同新特征对于样本的区分能力更强。因此，我们希望新特征矩阵的协方差矩阵中的非对角线元素尽可能小，即不同新特征之间的协方差为0。 综上所述，我们希望投影后的数据在新特征矩阵的每个新特征方差尽可能大，而不同新特征之间的协方差尽可能小，这就是为什么我们希望协方差矩阵中方差尽可能大，协方差为0的原因。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值