【矩阵与线性变换及协方差矩阵】

已于 2022-09-19 16:15:49 修改
阅读量834 收藏 2
点赞数
分类专栏： 矩阵分析与应用 文章标签： 矩阵 python 算法
于 2022-09-18 11:56:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44925830/article/details/126913854
版权

矩阵

合同

在这里插入图片描述

正定矩阵

在这里插入图片描述
在这里插入图片描述

线性变换

协方差矩阵

  • x与y的协方差符号决定了x与y的相关性,且协方差绝对值越大,其相关关系越明显。而x与y的方差大小决定了数据在x和y方向上的分散程度
  • 协方差代表了不同维度之间的相关关系,如果说某些维度之间没有相关关系,则协方差为0
  • 白数据：数据协方差矩阵为单位阵时,该组数据被称为白数据
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

协方差矩阵的线性变换

M = T D M=TD M=TD
D : D: D:表示白数据
M : M: M:表示最终数据
T = R S T=RS T=RS
T T T为线性变换矩阵， R R R是旋转变换矩阵， S S S是缩放变换矩阵
变换可以分解为旋转变换和缩放变换
在这里插入图片描述

举例

将数据旋转0度，而x轴方向扩大3倍，y轴方向大小不变。
在这里插入图片描述
在这里插入图片描述

协方差及协方差矩阵

协方差

在这里插入图片描述

协方差矩阵

在这里插入图片描述
协方差矩阵 Σ \Sigma Σ是一个实对称矩阵，最主要的性质就是可以正交对角化
正交对角化：存在一个正交矩阵 U U U，使得：
Σ = Q T D Q \Sigma = Q^TDQ Σ=QTDQ
其中Q为标准正交基矩阵，D为对角矩阵。
作为半正定矩阵，我们可以对协方差矩阵进行Cholesky分解
Cholesky分解
在这里插入图片描述
在这里插入图片描述

:)#
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
随机向量x的协方差阵_从线性变换的角度看高斯分布协方差阵的意义
weixin_39773817的博客
12-31 632
数学真的是很奇妙，在独立的课程中学习到的知识，有时候很难联系起来，但是实际上它门之间有着紧密的联系，今天就谈一点自己关于矩阵与高斯分布的关系，也是在拜读了很多大咖的文章之后才有了一些更深的理解。1、矩阵与线性变化的关系。矩阵是线性代数中的重要概念，实际上每一个矩阵都对应着一个线性变换。线性变换指的是对空间中的向量进行旋转和伸缩两种直观的操作。一个矩阵基本上就融合了这两种操作。2、矩阵与高斯分布的关...
协方差矩阵的几何解释1
08-03
在本文中，我们将探讨协方差矩阵的几何解释，以及它与数据形状、线性变换和特征分解的关系。 首先，协方差矩阵提供了一个度量，通过它可以理解数据在特征空间中的分布和相关性。例如，如果数据点的x值增加，y值也...
矩阵线性变换后 协方差矩阵的关系
Yonggie的博客
04-22 1928
问题描述 以向量横向排列（一行一个向量）举例， 对于各个向量均值为0的矩阵XXX来说，其协方差矩阵标记为Σ\SigmaΣ，进行某一变换WWW，结果是X^=XW\hat{X}=XWX^=XW，变换后的协方差矩阵标记为Σ^\hat\SigmaΣ^，问Σ\SigmaΣ和Σ^\hat\SigmaΣ^的关系？ 解答/记忆方法 对于均值为0一维的数据来说，对每一个数字都乘以系数aaa，那么其方差会变为原来的a2a^2a2倍。 正式一点的表达是均值0的一维分布YYY的方差μ\muμ，与变换后的分布Y^=aY\hat{Y}
协方差矩阵经线性变化可以变成不相关的
10-11 710
······                                                                              英语形式：          The linear transformation defined by the eigenvectors of Σ leads to vectors that  are uncorrelated
详解协方差与协方差矩阵计算
GoodShot的专栏
01-26 1万+
协方差的定义   对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩阵是怎么计算出来的吧。 记住，X、Y是一个列向量，它表示了每种情况下每个样本可能出现的数。比如给定 则X表示x轴可能出现的数，Y表示y轴可能出现的。
矩阵相关知识回顾--协方差的意义
avenger_fang的博客
09-21 1749
这里通过探索线性变换与所得数据协方差之间的关系，提供协方差矩阵的直观几何解释。大多数教科书基于协方差矩阵的概念来解释数据的形状。相反，这里采用向后的方法，并根据数据的形状解释协方差矩阵的概念。使用下图来显示标准差，作为方差的平方根，提供了数据在特征空间中分布的量度。高斯密度函数。对于正态分布的数据，68% 的样本落在均值加减标准差所定义的区间内。我们表明，可以通过以下方式获得样本方差的无偏估计：然而，方差只能用来解释数据在平行于特征空间轴的方向上的分布。
协方差矩阵
10-14
通过探索线性变换与所得数据协方差之间的关系提供协方差矩阵一个直观的几何解释。大部分教科书基于协方差矩阵的概念解释数据的形状。相反，我们采取一个反向的方法，根据数据的形状来解释协方差矩阵的概念。在《为...
协方差矩阵1
08-08
协方差矩阵的概念和应用 协方差矩阵是一种重要的统计概念，它广泛应用于数据分析、机器学习和信号处理等领域。协方差矩阵是指随机变量之间的协方差关系的矩阵表示形式。它可以用来描述多变量之间的相关关系，并且是...
A geometric interpretation of the covariance matrix.协方差矩阵的几何解释
最新发布
08-06
本文将提供一个直观的几何解释，帮助我们理解协方差矩阵的本质，并探讨其与线性变换的关系。我们将从数据的形状出发，反向解释协方差矩阵的概念。 首先，我们需要回顾一下方差的概念。方差衡量的是数据在特征空间中...
每天进步一点点《协方差矩阵的实践》.docx
09-14
这个是对 特征值和特征向量，以及SVD 的 学习总结。纯属是个人所学所记录，也想分享给初学者，给一定的指导。
【转载】你可能不需要BERT-flow：一个线性变换媲美BERT-flow
SUFEHeisenberg的博客
01-14 439
转载自科学空间-苏剑林 苏剑林. (Jan. 11, 2021). 《你可能不需要BERT-flow：一个线性变换媲美BERT-flow 》[Blog post]. BERT-flow来自论文《On the Sentence Embeddings from Pre-trained Language Models》，中了EMNLP 2020，主要是用flow模型校正了BERT出来的句向量的分布，从而使得计算出来的cos相似度更为合理一些。由于笔者定时刷Arixv的习惯，早在它放到Arxiv时笔者就看到了它，但
摘抄 - 从几何角度看协方差矩阵
htuhxf的博客
08-02 1367
简介： 本文通过探索线性变换和变换后数据协方差的的关系，提供一个直观的、几何图示的协方差矩阵解释。大多数教材都是通过协方差矩阵的概念来解释数据的分布形状。相反的我们通过数据分布的形状来解释协方差矩阵。 在先前的文章里我们探讨和方差的概念，并给出了预估方差的公式的推导和证明。这里Figure 1 展现了标准差——方差的根，量化了整个数据的分布： 下边这个公式可以或许样本方差的估计值： σ2=1N−1∑i=1N(xi−μ)2=E[(x−E(x))(x−E(x))]=σ(x,x)\sigma^2=\frac{1
笔记：《深入浅出统计学》第五章：概率分布(均值、方差、线性变换)
余欲与鱼语渔
06-26 3507
概率分布描述了一个给定变量的所有可能结果的概率。对于概率分布来说，所有概率都早已计算好。 1.1 随机变量 随机变量（random variable）是对一个试验结果的数值描述，是一个可以等于一系列数值的变量。 而这一系列数值的每一个值都与一个特定概率相关联。 ▪离散型随机变量：可以取有限多个数值或无限可数多个数值的随机变量 ▪连续型随机变量：可以在某一区间或多个区间内任意取值的随机变量 1.2 离散型概率分布 随机变量的概率分布（probability distribution）是描述随机变量取不同值的
线性变换与独立观察的期望和方差
weixin_30516243的博客
06-04 522
来源：《深入浅出统计学》 转载于:https://www.cnblogs.com/mahailuo/p/10971645.html
独立观察与线性变换方差 均值计算
weixin_30323961的博客
05-22 539
来源：《深入浅出统计学》 转载于:https://www.cnblogs.com/mahailuo/p/10907171.html
（初学）从协方差到协方差矩阵，再到特征向量和特征值
weixin_46021869的博客
05-27 1万+
通俗易懂理解协方差 协方差，可以通俗易懂理解为：两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？ 你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。 你变大,同时我变小,说明两个变量是反向变化的,这时协方差就是负的。 从数值来看,协方差的数值越大,两个变量同向程度也就越大。反之亦然。 咱们从公式出发来理解一下: 公式简单翻译一下是:如果有x,Y两个变量,每个时刻的"X值与其均值之差"剩以Y值与其均值之差"得到一个乘积,再对这每时刻的乘积求和并求出均值(其实是求"期望
协方差矩阵的几何解释
热门推荐
蜗牛
05-23 3万+
介绍在本文中，我们通过探索线性变换与所得数据协方差之间的关系提供协方差矩阵一个直观的几何解释。大部分教科书基于协方差矩阵的概念解释数据的形状。相反，我们采取一个反向的方法，根据数据的形状来解释协方差矩阵的概念。在《为什么样本方差除以N-1？》的文章中，我们会讨论方差的概念，并提供了众所周知的估算样本方差公式的推导和证明。这篇文章中使用的图1表明标准差（方差的平方根）提供了数据在特征空间上传播多少的量
协方差矩阵学习心得
Mike_69的博客
02-12 2262
协方差矩阵的物理意义主要分为对角阵和非对角阵来记录。 1.基础知识 一维数据中： 方差：描述数据的偏离程度，数值越大偏离越大 标准差：描述数据的聚散程度。数值越大散度越大，除以 N-1 二位数据中： 协方差：描述两个随机变量之间的相关性，随着X变大Y变大则为正相关，否则为负相关。cov=0则不相关。由此可知，xy独立一定不相关，但是xy不相关，不一定独立。在高斯过程中，不相关和独立是等价的，因此高斯情况下不相关的xy独立，可以将联合分布分开乘。 协方差矩阵中的每个量都是相同样本下不
协方差矩阵与相关系数矩阵
05-12
协方差矩阵和相关系数矩阵是两个不同的矩阵，它们用于描述变量之间线性关系。 协方差矩阵描述了多个变量之间的协方差关系，对于 $n$ 个变量 $X_1, X_2, ..., X_n$，协方差矩阵 $\Sigma$ 的第 $i,j$ 个元素 $\sigma_{i,j}$ 表示 $X_i$ 和 $X_j$ 之间的协方差，即： $$\sigma_{i,j} = Cov(X_i, X_j) = E[(X_i - \mu_i)(X_j - \mu_j)]$$ 其中，$\mu_i$ 和 $\mu_j$ 分别是 $X_i$ 和 $X_j$ 的均值，$E$ 表示期望。 相关系数矩阵则是在协方差矩阵基础上进行了标准化，用于度量变量之间的线性相关程度，其第 $i,j$ 个元素 $\rho_{i,j}$ 表示 $X_i$ 和 $X_j$ 之间的相关系数，即： $$\rho_{i,j} = \frac{\sigma_{i,j}}{\sqrt{\sigma_{i,i} \sigma_{j,j}}}$$ 相关系数矩阵中的元素取值范围在 $[-1,1]$ 之间，当 $\rho_{i,j} = 1$ 时，表示 $X_i$ 和 $X_j$ 之间存在完全正相关关系；当 $\rho_{i,j} = -1$ 时，表示 $X_i$ 和 $X_j$ 之间存在完全负相关关系；当 $\rho_{i,j} = 0$ 时，表示 $X_i$ 和 $X_j$ 之间不存在线性相关关系。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值