协方差矩阵理解

最新推荐文章于 2023-07-26 20:15:48 发布
最新推荐文章于 2023-07-26 20:15:48 发布
阅读量1.1k 收藏 8
点赞数 3
分类专栏： 机器学习 文章标签： 协方差矩阵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38300566/article/details/80299408
版权

因为最近用到的线性判别式分析（LDA）里面用到了协方差矩阵，搞得我特别懵，所以研究了一番协方差矩阵。

重点：首先要明确协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间，因此，拿到一个样本矩阵，我们要先确定该样本矩阵是每行代表一个样本还是每列代表一个样本。

首先给出协方差矩阵的定义

结合 matlab 程序进行讲解

首先，如下X作为样本集（5*2），每行为一个样本，每列为样本的维度。用MATLAB计算其协方差矩阵如下。

手推协方差矩阵如下图，其中，均值为样本矩阵每列的均值。


观察以上协方差矩阵可知，其为对称矩阵。

推荐阅读：http://pinkyjie.com/2010/08/31/covariance/

ZLuby
关注
专栏目录
lda 协方差矩阵_线性判别分析LDA详解
weixin_39917211的博客
12-19 1259
1 Linear Discriminant Analysis相较于FLD(Fisher Linear Decriminant)，LDA假设:1.样本数据服从正态分布，2.各类得协方差相等。虽然这些在实际中不一定满足，但是LDA被证明是非常有效的降维方法，其线性模型对于噪音的鲁棒性效果比较好，不容易过拟合。2 二分类问题原理小结：对于二分类LDA问题，简单点来说，是将带有类别标签的高维样本投影到一个...
协方差矩阵的理解
123
05-26 534
转载自：https://www.cnblogs.com/chaosimple/p/3182157.html 【嵌牛导读】：本文主要是介绍对协方差矩阵的理解. 【嵌牛鼻子】：协方差矩阵 【嵌牛提问】：怎样理解协方差矩阵？ 【嵌牛正文】： 这两天看主成分分析算法时，里面出现了个协方差矩阵的概念。协方差矩阵是啥个意思也不知道，所以就在网上搜索了下，发现有个讲的挺细的，所以就在这拿出来了。 数学...
浅析协方差矩阵
wonderful_life_mrchi的博客
04-19 730
统计学的基本概念 概率论里面有几个基本的概念，分别是：样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述： 均值： 标准差： 方差： 均值描述的是样本集合的中间点，它告诉我们的信息是有限的，而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。 以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的...
解析协方差矩阵
11-25 472
今天上课连个协方差矩阵都不会求，太丢人了。故转载一篇博文 转载：http://blog.csdn.net/ybdesire/article/details/6270328 协方差的定义   对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩
协方差分析_、matlab演示协方差原理_协方差矩阵的二维认识_
10-03
4. 可视化协方差：可以使用`imagesc`或`heatmap`函数绘制协方差矩阵的图像，帮助直观理解变量间的相关性。 例如，如果我们有数据矩阵`Data`，可以这样操作： ```matlab % 加载数据 load('协方差分析.mat'); % ...
我所理解的协方差以及协方差矩阵
01-20
文章目录一、 协方差1、为什么需要协方差2、协方差的定义二、协方差矩阵1、协方差矩阵的定义2、协方差矩阵公式推导参考博客 一、 协方差 1、为什么需要协方差 定义：假如有N个样本的集合{X1,X2,…XNX_1,X_2,…X_NX1...
协方差矩阵的几何解释1
08-03
首先，协方差矩阵提供了一个度量，通过它可以理解数据在特征空间中的分布和相关性。例如，如果数据点的x值增加，y值也倾向于增加，那么这两个变量之间就存在正相关性。这种相关性体现在协方差矩阵的非对角元素上。对...
协方差矩阵估计的收缩算法：Shrinkage covariance matrix estimators-matlab开发
05-30
在统计学和信号处理领域，协方差矩阵是用于描述随机变量之间线性关系的重要工具。在高维数据处理中，协方差矩阵的估计往往面临样本量不足的问题，这可能导致估计的不稳定性和过大的方差。为了解决这个问题，研究者们...
协方差矩阵求解算法及高斯混合模型聚类_混合矩阵_limitedwxg_聚类算法_协方差矩阵_高斯混合模型_
10-02
在机器学习领域，数据聚类是一种无监督学习方法，用于将数据集中的对象根据它们的相似性或距离分组到不同的类别中。其中，高斯混合模型...理解和有效求解协方差矩阵是优化GMM模型，从而实现更准确聚类的关键。
协方差矩阵详解
YANJINING
10-25 231
如何直观地理解「协方差矩阵」？ 转载自 如何直观地理解「协方差矩阵」？
协方差矩阵的定义及意义
Jeiwen的博客
01-31 713
协方差矩阵的定义 设一个随机向量为x∈RN\mathbf{x} \in \mathbb{R}^\mathrm{N}x∈RN，其均值为xˉ\bar{\mathbf{x}}xˉ，则令y=x−xˉ\mathbf{y} = \mathbf{x} - \bar{\mathbf{x}}y=x−xˉ，则随机向量x\mathbf{x}x的协方差定义为： Σx=[σ(x1,x1)⋯σ(x1,xN)⋮⋱⋮σ(xN,x...
机器学习之线性判别分析（Linear Discriminant Analysis）
最新发布
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
07-26 3244
Iris 鸢尾花数据集是一个经典数据集，在统计学习和机器学习领域都经常被用作示例。数据集内包含 3 类共 150 条记录，每类各 50 个数据，每条记录都有 4 项特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，可以通过这4个特征预测鸢尾花卉属于（iris-setosa, iris-versicolour, iris-virginica）三种中的哪一品种。LDA是一种简单而有效的分类器和降维方法，特别适用于特征维度较低、数据符合高斯分布的问题。
【多元统计分析】均值向量和协方差阵的检验——spss上机实验
suansuannainaizi的博客
11-23 3万+
均值向量和协方差阵的检验——spss上机实验 #参考书目为《多元统计分析》（第五版）——何晓群.中国人民大学出版社 #如有错误，请指正！谢谢~ #关注公众号搜索同名文章获取数据~ 习题2.3 现选取内蒙古、广西、贵州、云南、西藏、宁夏、新疆、甘肃和青海等9个内陆边远省区。选取人均GDP、第三产业比重、人均消费支出、人口自然增长率及文盲半文盲人口占15岁以上人口的比例等5项能较好的说明各地区社会经济发展水平的指标，验证边远及少数民族聚居区的社会经济发展水平与全国平均水平间有无显著差异。 将输入导入spss
协方差及协方差矩阵的理解
houxiaogang05
10-07 9875
转自：https://www.jianshu.com/p/2ec5cdc3f1e4 https://baike.baidu.com/item/%E5%8D%8F%E6%96%B9%E5%B7%AE/2185936?fr=aladdin 有改动 1. 写在前面   为了便于理解和验证，可以参考一下，http://www.ab126.com/shuxue/2788.html所提供的协方差的在线...
关于协方差矩阵的理解
weixin_30522095的博客
09-09 1148
在《主成分分析》中，我们用到了协方差矩阵，但当时并没有对其进行深入的讨论。为此，本文将针对协方差矩阵做一个详细的介绍，其中包括协方差矩阵的定义、数学背景与意义以及计算公式的推导。 若需要本文完整的 PDF 文档，请点击《协方差矩阵详谈》进行下载！ 作者: peghoty 出处:http://blog.csdn.net/itplus/artic...
我所理解的协方差矩阵
热门推荐
沈春旭的博客
10-28 4万+
1.前言 看论文的时候又看到了协方差矩阵这个破东西，以前看图像处理的书籍的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来。 2.拼出身—统计学的定义 学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合X={X1,…,Xn}，依次给出这些概念的公式描述，这些高中学过数学的
协方差矩阵的几何解释
蜗牛
05-23 3万+
介绍在本文中，我们通过探索线性变换与所得数据协方差之间的关系提供协方差矩阵一个直观的几何解释。大部分教科书基于协方差矩阵的概念解释数据的形状。相反，我们采取一个反向的方法，根据数据的形状来解释协方差矩阵的概念。在《为什么样本方差除以N-1？》的文章中，我们会讨论方差的概念，并提供了众所周知的估算样本方差公式的推导和证明。这篇文章中使用的图1表明标准差（方差的平方根）提供了数据在特征空间上传播多少的量
协方差矩阵：数据传播与几何解释
协方差矩阵是统计学和机器学习中的核心概念，它提供了一种几何方式理解数据在多维空间中的分布和相互关联。传统上，教科书会从定义出发解释协方差矩阵，但本文采用了不同的视角，即根据数据的形状来解读协方差矩阵的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值