协方差矩阵计算

深度学习炼丹师-CXD

已于 2024-03-01 17:20:20 修改

阅读量856

点赞数 17

分类专栏：深度学习Trick 文章标签：矩阵线性代数

于 2024-03-01 17:15:55 首次发布

本文链接：https://blog.csdn.net/weixin_44342777/article/details/136401052

版权

深度学习Trick 专栏收录该内容

8 篇文章 1 订阅

订阅专栏

本文详细解释了协方差矩阵的概念，以及如何利用Python中的numpy库来计算随机变量之间的协方差。通过实例演示了给定数据集的计算过程，展示了如何通过减去样本均值并计算自相关矩阵得到协方差矩阵。

摘要由CSDN通过智能技术生成

文章目录

协方差矩阵

协方差矩阵反映了两个随机变量变化时是同向还是反向的（相关性）。
如果协方差>0，则说明这两个随机变量同向变化。
协方差矩阵<0，则说明是反向变化。
协方差矩阵=0，则说明是两个随机变量的变化方向没有任何相似度。

计算原理

假设矩阵：
$\begin{bmatrix} 3 & 1& 2 \\ 5 & 6 &4 \\8 & 7 &9 \end{bmatrix}$
样本均值为：
$\overline X = \frac{1}{3}(\begin{bmatrix} 3 \\ 5 \\ 8 \end{bmatrix}+\begin{bmatrix} 1\\ 6 \\ 7 \end{bmatrix}+\begin{bmatrix} 2 \\ 4 \\ 9 \end{bmatrix}) = \begin{bmatrix} 3 \\ 5 \\ 8 \end{bmatrix}$
矩阵的每列都减去样本的均值：
$\overline X = \begin{bmatrix} 1 & -1 & 0 \\ 0 & 1 &-1 \\ 0 & -1 &1 \end{bmatrix}$
矩阵的协方差矩阵Y：
$\frac{1}{N -1}BB^T = \frac{1}{3-1}\begin{bmatrix} 1 & -1 & 0 \\ 0 & 1 &-1 \\ 0 & -1 &1 \end{bmatrix}\begin{bmatrix} 1 & 0 & 0 \\ -1 & 1 &-1 \\ 0 & -1 &1 \end{bmatrix} = \frac{1}{2}\begin{bmatrix} 2 & -1 & 1 \\ -1 & 2 & -2 \\ 1 & -1 &1 \end{bmatrix} = \begin{bmatrix} 1 & -0.5 & 0.5 \\ -0.5 & 1 & -1 \\ 0.5 & -1 &1 \end{bmatrix}$

python实现

import numpy as np

a = np.array([3, 1, 2])
b = np.array([5, 6, 4])
c = np.array([8, 7, 9])

X = np.vstack((a, b, c))
print(f'矩阵X: \n{X}')

Y = np.cov(X)
print(f'矩阵X的协方差矩阵为: \n{Y}')