1.3补充协方差矩阵计算

最新推荐文章于 2024-07-11 09:09:07 发布

enthwxq

最新推荐文章于 2024-07-11 09:09:07 发布

阅读量933

点赞数

分类专栏： matrix ML

本文链接：https://blog.csdn.net/enthwxq/article/details/84564022

版权

ML 同时被 2 个专栏收录

18 篇文章 1 订阅

订阅专栏

matrix

11 篇文章 1 订阅

订阅专栏

本文是对1.3中自相关和自协方差矩阵的补充。

$x=\begin{bmatrix} x_1\\ x_2\\ ...\\ x_m \end{bmatrix}$ 是一个m维随机向量，其中每一个分量 $x_i$ 都是一个随机变量。由1.3中自相关矩阵的定义，有： $\large R_{\vec{x}}=E[\vec{x}\vec{x}^T]$ ， $\large C_{\vec{x}}=Cov(\mathbf{x,x})=E[(\mathbf{x}-\mathbf{\mu_{x}} )(\mathbf{x}-\mathbf{\mu_{x}})^T]$ 。以三维的详细来看：

$x=\begin{bmatrix} x_1\\ x_2\\ x_3 \end{bmatrix}$ ， $x^T=\begin{bmatrix} x_1 &x_2 & x_3 \end{bmatrix}$ , $xx^T=\begin{bmatrix} x_1^2 & x_1x_2 & x_1x_3\\ x_1x_2 & x_2^2 & x_2x_3\\ x_1x_3 & x_2x_3 & x_3 \end{bmatrix}$ , $xx^T$ 构造了6个随机变量。最后再取这六个随机变量的均值，就得到了自相关矩阵。如果随机变量已经归一化处理后后，那么自相关就变成了协方差。自相关矩阵和协方差矩阵有两种方式计算：

（1）当给出的是每一个随机变量的分布律时，比如x1的取值有两种(0和1），对应的概率分别是1/3，2/3，即： $\begin{bmatrix} x & 0 & 1\\ p(x)& 1/3 & 2/3 \end{bmatrix}$ ，

x2，x3的分布律如下： $\begin{bmatrix} x_2 & -1 & 1 & 2\\ p(x_2)&1/2 & 1/3 & 1/6 \end{bmatrix}$ , $\begin{bmatrix} x_3 & 0 & -1&1 \\ p(x_3)& 1/3 &1/3 & 1/3 \end{bmatrix}$ ,此时求那六个随机变量之间的自相关，利用： $R(x,y)=E(xy)$ 可求出来每两个随机变量的自相关。每一个自相关求出来以后，再放到对应的位置上即可。

$Cov(x,y)=E(xy)-E(x)E(y)$ 可求出来每两个随机变量的协方差，每一个协方差求出来以后，再放到对应的位置上即可。

（2）另外一种方法求协方差矩阵就是给定了样本的数据矩阵 $X_{m,n}=\begin{bmatrix} \vec{x^1} &\vec{x^2} & ... &\vec{x^n } \end{bmatrix}$ （注意到角标在上边，代表每一个样本），在这个矩阵中，每一个列向量对应的是每一个样本在m个特征上的取值，一共有n个样本。

举例来看：样本的数据矩阵是 $X_{3,2}=\begin{bmatrix} 1 &2 \\ 0& -1\\ -1& 1 \end{bmatrix}$ ，表示观测到2个样本， $\frac{1}{n}XX^T=\frac{1}{2}\begin{bmatrix} 1 &2 \\ 0& -1\\ -1& 1 \end{bmatrix}\begin{bmatrix} 1 &0 &-1 \\ 2& -1 & 1 \end{bmatrix}$

利用矩阵乘法的性质，写成向量外积后的矩阵再相加，有： $\frac{1}{n}XX^T=\frac{1}{2}(\begin{bmatrix} 1\\0 \\ -1 \end{bmatrix}\begin{bmatrix} 1 &0 &-1 \end{bmatrix}+\begin{bmatrix} 2\\-1 \\ 1 \end{bmatrix}\begin{bmatrix} 2 &-1 &1 \end{bmatrix})$

$=\frac{1}{2}(\begin{bmatrix} 1 & 0 &-1 \\ 0& 0 & 0\\ -1& 0& 1 \end{bmatrix}+\begin{bmatrix} 4 & -2 &2 \\ -2& 1 & -1\\ 2& -1& 1 \end{bmatrix})=\begin{bmatrix} \frac{1+4}{2} &\frac{0-2}{2} & \frac{-1+2}{2} \\ \frac{0-2}{2} & \frac{0+1}{2} &\frac{0-1}{2} \\\frac{-1+2}{2} &\frac{0-1}{2} & \frac{1+1}{2} \end{bmatrix}$ ，到这里观察，乘积后取平均的矩阵第一行第一列的元素

：刚好就是在第一特征上，每一个样本的平方和再相加，即： $(XX^T)_{1,1}=\frac{1}{n}((x_1^{1})^2+(x_1^{2})^2+...+(x_1^{n})^2)$ ，就是第一个特征再所有观测样本上的均值。同理有： $(XX^T)_{1,2}=\frac{1}{n}(x_1^{1}x_2^1+x_1^{2}x_2^{2}+...+x_1^{n}x_2^{n})=E(x_1x_2)$ ,右上角代表的是第几个样本，右下角代表的是第几个特征,其余同理。所以最后我们知道 $\frac{1}{n}XX^T$ 就是样本的自相关矩阵。同理，当数据本身进行了归一化后，就是协方差矩阵。