解析协方差矩阵

最新推荐文章于 2023-05-27 13:03:56 发布

Savitch

最新推荐文章于 2023-05-27 13:03:56 发布

阅读量454

点赞数

分类专栏： Foundation of Mathematics Pattern Recognition

本文链接：https://blog.csdn.net/assiduousknight/article/details/16952055

版权

Foundation of Mathematics 同时被 2 个专栏收录

33 篇文章 2 订阅

订阅专栏

Pattern Recognition

19 篇文章 0 订阅

订阅专栏

在统计学与概率论中，协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。这是从标量随机变量到高维度随机向量的自然推广。假设 $X$ 是以 $n$ 个标量随机变量组成的列向量，

$X = \begin{bmatrix}X_1 \\ \vdots \\ X_n \end{bmatrix}$

并且 $\mu_i$ 是其第i个元素的期望值，即, $\mu_i = \mathrm{E}(X_i)$ 。协方差矩阵被定义的第i，j项是如下：

$\Sigma_{ij}= \mathrm{cov}(X_i, X_j) = \mathrm{E}\begin{bmatrix}(X_i - \mu_i)(X_j - \mu_j)\end{bmatrix}$

即：

$\Sigma=\mathrm{E}\left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top\right]$

$=\begin{bmatrix} \mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\ \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)]\end{bmatrix}$

矩阵中的第 $(i,j)$ 个元素是 $X_i$ 与 $X_j$ 的协方差。这个概念是对于标量随机变量方差的一般化推广。

转载：http://zh.wikipedia.org/wiki/%E5%8D%8F%E6%96%B9%E5%B7%AE%E7%9F%A9%E9%98%B5

思考以上内容：

这里把每一维数据看作是一个随机变量，这样和基本的求解方差和协方差差不多了。

$\Sigma_{ij}= \mathrm{cov}(X_i, X_j) = \mathrm{E}\begin{bmatrix}(X_i - \mu_i)(X_j - \mu_j)\end{bmatrix}$ 中的 $X$ 是随机变量。

就是刚才的每一维随机随机变量。这样便可以找到数据之间的相应的关系。

Savitch

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
解析协方差矩阵

今天上课连个协方差矩阵都不会求，太丢人了。故转载一篇博文转载：http://blog.csdn.net/ybdesire/article/details/6270328协方差的定义对于一般的分布，直接代入E(X)之类的就可以计算出来了，但真给你一个具体数值的分布，要计算协方差矩阵，根据这个公式来计算，还真不容易反应过来。网上值得参考的资料也不多，这里用一个例子说明协方差矩
复制链接

扫一扫

专栏目录