一文读懂 协方差矩阵

协方差，方差，标准差，均方差

方差Variance

记法：D(X)
X为随机变量
$D(X)=E(X^2)-E^2(X)$, 平方的均值减去均值的平方
推导过程：
$E(X)=\Sigma (x_i.p_i)=\bar{X}$, 则这里的$\bar{X}$就是一个常数了，$E^2(X)={\bar{X}}^2$
$D(X)=E[(X-E(X){)}^2]=E[(X-\bar{X}{)}^2]=E[X^2+{\bar{X}}^2-2\bar{X}X]=E(X^2)+{\bar{X}}^2-2\bar{X}E(X)=E(X^2)-E^2(X)$
方差的性质：

1. 设$C$为常数，则$D(C)=0$
2. $D(cx)=c^{2}D(x)$
3. $D(-x)=D(x),D(-2x)=4D(x)$

标准差(Standard Deviation)，也叫 均方差

记为：$\sigma X=\sqrt{DX}$

协方差Covariance

设有随机变量$X,Y$,称$E[(X-EX)(Y-EY)]$ 为随机变量$X,Y$ 的协方差，记为$COV(X,Y)$. 即有：$COV(X,Y)=E[(X-E(X))(Y-E(Y))]$
协方差用来衡量两个变量的总体误差，这和只表示一个变量误差的方差不同，如果两个变量的变化趋势一致，也就是说，如果其中一个大于自身的期望值，另一个也大于自身的期望值，则两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，则两个变量之间的协方差就是负值。

协方差和方差的关系：
$COV(X,X)=D(X)$
而方差是协方差的一种特殊情况，即当两个变量是相同的情况下

协方差和相关系数的关系：
相关系数：${\rho }_{X,Y}=\frac{COV(X,Y)}{\sqrt{DX}\sqrt{DY}},{\rho }_{X,Y}$是一个无量纲的量

统计学中的方差和协方差的定义

在统计学中，方差是用来度量单个随机变量的离散程度，而协方差则一般用来刻画两个随机变量的相似程度，其中，

方差的计算公式为：
$${\sigma }_x^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$

在此基础上，协方差的计算公式被定义为：
$$\sigma (x,y)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$$
上式中，符号 $\bar{x},\bar{y}$ 分别表示量随机变量所对应的观测样本均值，据此，我们发现：方差${\sigma }_x^2$ 可视作随机变量 $x$ 关于其自身的协方差 $\sigma (x,x)$

从方差/协方差到协方差矩阵

根据方差的定义，给定d个随机变量$x_k\in {\mathbb{R}}^n,k=1,2,3,...,d$,则这些随机变量的方差为：

这里设随机变量的个数为$d$，可以看作机器学习中的数据矩阵$X_{n\times d}$, 即n个样本，每个样本有 d 个特征，每个特征就是一个随机变量，即每一列就是一个随机变量。${\bar{x}}_k$就表示的是每一列的均值。

$$\sigma (x_k,x_k)=\frac{1}{n-1}\sum _{i=1}^n(x_{k,i}-{\bar{x}}_k{)}^2,k=1,2,3...,d$$
其中，$x_{k,i}$表示随机变量$x_k$中的第 $i$ 个观测样本，$n$ 表示样本量，每个随机变量所对应的观测样本数量均为$n$ 。

对于这些随机变量，我们还可以根据协方差的定义，求出两两之间的协方差，即：
$$\sigma (x_m,x_k)=\frac{1}{n-1}\sum _{i=1}^n(x_{m,i}-{\bar{x}}_m)(x_{k,i}-{\bar{x}}_k)$$

因此，协方差矩阵为：
$$\Sigma =\left[\begin{array}{ccc}\sigma \left(x_1,x_1\right)& \cdots & \sigma \left(x_1,x_d\right)\\ ⋮& \ddots & ⋮\\ \sigma \left(x_d,x_1\right)& \cdots & \sigma \left(x_d,x_d\right)\end{array}\right]\in {\mathbb{R}}^{d\times d}$$
其中，对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差，根据协方差的定义，我们可以认定：矩阵$\Sigma$为对称矩阵(symmetric matrix)，其大小为 $d\times d$。

之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。

协方差矩阵的计算

协方差矩阵的定义1：$X_{n\times d}$行表示样本，列表示特征(也叫随机变量)

矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的，这里方法①的数据是按行排列的，就是每一行表示一个样本，而每一列表示一个特征，或者每一列也叫一个随机变量。

step1:找出随机变量 $c_i$
${\mathrm{X}}_{\mathrm{n}\times \mathrm{d}}=\left[\begin{array}{c}{\mathbf{x}}_1^{\mathbf{T}}\\ {\mathbf{x}}_2^{\mathbf{T}}\\ ⋮\\ {\mathbf{x}}_{\mathbf{n}}^{\mathbf{T}}\end{array}\right]={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1d}\\ x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& ⋮& ⋮& ⋮\\ x_{n1}& x_{n2}& \cdots & x_{nd}\end{array}\right]}_{n\times d}=[c_1{c}_2{c}_3\cdot \cdot \cdot c_d]$

step2:求出随机变量的均值 ${\bar{c}}_i$

求出随机变量的均值，即这里的每一列的均值，分别记作：$[{\bar{c}}_1{\bar{c}}_2{\bar{c}}_3\cdot \cdot \cdot {\bar{c}}_d]$

step3:$X_{n\times d}$ 对应的列减去此列的均值，求得矩阵 $C$

$X_{n\times d}$的对应的列减去此列的均值，得到矩阵 $C$:
$C_{n\times d}={\left[\begin{array}{cccc}{x}_{11}-{\bar{c}}_1& x_{12}-{\bar{c}}_2& \cdots & x_{1d}-{\bar{c}}_d\\ x_{21}-{\bar{c}}_1& x_{22}-{\bar{c}}_2& \cdots & x_{2d}-{\bar{c}}_d\\ ⋮& ⋮& ⋮& ⋮\\ x_{n1}-{\bar{c}}_1& x_{n2}-{\bar{c}}_2& \cdots & x_{nd}-{\bar{c}}_d\end{array}\right]}_{n\times d}$

step4: 求协方差矩阵

协方差矩阵：
${\mathrm{COV}}_{d\times d}=\frac{1}{n-1}{\left[\begin{array}{cccc}\mathrm{cov}\left(c_1,c_1\right)& \mathrm{cov}\left(c_1,c_2\right)& \cdots & \mathrm{cov}\left(c_1,c_d\right)\\ \mathrm{cov}\left(c_2,c_1\right)& \mathrm{cov}\left(c_2,c_2\right)& \cdots & \mathrm{cov}\left(c_2,c_d\right)\\ ⋮& ⋮& ⋮& ⋮\\ \mathrm{cov}\left(c_d,c_1\right)& \mathrm{cov}\left(c_d,c_2\right)& \cdots & \mathrm{cov}\left(c_d,c_d\right)\end{array}\right]}_{d\times d}=\frac{1}{n-1}{C}_{d\times n}^T{C}_{n\times d}$
协方差矩阵的维度等于随机变量的个数，即列的维度。在某些场合下也会出现$\frac{1}{n}$,而不是$\frac{1}{n-1}$

同理，协方差矩阵的定义2：$X_{d\times n}$列表示样本，行表示随机变量(即特征)的时候

step1:找出随机变量 $c_i$
${\mathrm{X}}_{\mathrm{d}\times \mathrm{n}}=\left[{\mathbf{x}}_1，{\mathbf{x}}_2\cdots {\mathbf{x}}_{\mathbf{n}}\right]={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ x_{d1}& x_{d2}& \cdots & x_{dn}\end{array}\right]}_{d\times n}=\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_d\end{array}\right]$

step2:求出随机变量的均值 ${\bar{c}}_i$

求出随机变量的均值，即这里的每一行的均值，分别记作：$\left[\begin{array}{c}{\bar{c}}_1\\ {\bar{c}}_2\\ ⋮\\ {\bar{c}}_d\end{array}\right]$

step3:$X_{d\times n}$ 对应的行减去此行的均值，求得矩阵 $C$

$X_{d\times n}$的对应的行减去此行的均值，得到矩阵 $C$:
$C_{d\times n}={\left[\begin{array}{cccc}{x}_{11}-{\bar{c}}_1& x_{12}-{\bar{c}}_1& \cdots & x_{1d}-{\bar{c}}_1\\ x_{21}-{\bar{c}}_2& x_{22}-{\bar{c}}_2& \cdots & x_{2d}-{\bar{c}}_2\\ ⋮& ⋮& ⋮& ⋮\\ x_{n1}-{\bar{c}}_d& x_{n2}-{\bar{c}}_d& \cdots & x_{nd}-{\bar{c}}_d\end{array}\right]}_{d\times n}$

step4: 求协方差矩阵

协方差矩阵：
${\mathrm{COV}}_{d\times d}=\frac{1}{n-1}{\left[\begin{array}{cccc}\mathrm{cov}\left(c_1,c_1\right)& \mathrm{cov}\left(c_1,c_2\right)& \cdots & \mathrm{cov}\left(c_1,c_d\right)\\ \mathrm{cov}\left(c_2,c_1\right)& \mathrm{cov}\left(c_2,c_2\right)& \cdots & \mathrm{cov}\left(c_2,c_d\right)\\ ⋮& ⋮& ⋮& ⋮\\ \mathrm{cov}\left(c_d,c_1\right)& \mathrm{cov}\left(c_d,c_2\right)& \cdots & \mathrm{cov}\left(c_d,c_d\right)\end{array}\right]}_{d\times d}=\frac{1}{n-1}{C}_{d\times n}{C}_{n\times d}^T$
协方差矩阵的维度等于随机变量的个数，即列的维度。在某些场合下也会出现$\frac{1}{n}$,而不是$\frac{1}{n-1}$

协方差矩阵的定义1和定义2详细过程

当$X_{n\times d}$矩阵的行表示样本，列表示特征的时候：
由协方差矩阵定义1的求解步骤可得：

$\mathbf{x}$是d 维向量
$\mathbf{x}=\left[\begin{array}{c}{\mathrm{x}}_1\\ {\mathrm{x}}_2\\ ⋮\\ {\mathrm{x}}_{\mathrm{d}}\end{array}\right]$
$X$是由n个d维多元向量组成的矩阵;即X含有n个样本，每个样本都是d维的向量, X是nxd的矩阵。
${\mathbf{x}}_1=\left[\begin{array}{c}{\mathrm{x}}_{11}\\ {\mathrm{x}}_{12}\\ ⋮\\ {\mathrm{x}}_{1\mathrm{d}}\end{array}\right]$,${\mathbf{x}}_2=\left[\begin{array}{c}{\mathrm{x}}_{21}\\ {\mathrm{x}}_{22}\\ ⋮\\ {\mathrm{x}}_{2\mathrm{d}}\end{array}\right]$,${\mathbf{x}}_3=\left[\begin{array}{c}{\mathrm{x}}_{31}\\ {\mathrm{x}}_{32}\\ ⋮\\ {\mathrm{x}}_{3\mathrm{d}}\end{array}\right]$
则
${\mathrm{X}}_{\mathrm{n}\times \mathrm{d}}=\left[\begin{array}{c}{\mathbf{x}}_1^{\mathbf{T}}\\ {\mathbf{x}}_2^{\mathbf{T}}\\ ⋮\\ {\mathbf{x}}_{\mathbf{n}}^{\mathbf{T}}\end{array}\right]={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1d}\\ x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& ⋮& ⋮& ⋮\\ x_{n1}& x_{n2}& \cdots & x_{nd}\end{array}\right]}_{n\times d}=[c_1{c}_2{c}_3\cdot \cdot \cdot c_d]$

step1：
按列算均值，得到第 $j$ 列的均值 ${\mu }_j$ 如下：
$${\mu }_j=\frac{\stackrel{n}{\underset{i=1}{\Sigma }}{x}_{ij}}{n}$$
则$X$的均值记为$\mu$, $\mu$是d 维向量
$\mu =\left[{\mu }_1,{\mu }_2,{\mu }_3,\cdot \cdot \cdot ,{\mu }_d\right]=[{\bar{c}}_1{\bar{c}}_2{\bar{c}}_3\cdot \cdot \cdot {\bar{c}}_d]$

step2:
将$X$的每一列减去平均值
${\mathbf{C}}_{\mathbf{n}\times \mathbf{d}}={\left[\begin{array}{cccc}{x}_{11}-{\bar{c}}_1& x_{12}-{\bar{c}}_2& \cdots & x_{1d}-{\bar{c}}_d\\ x_{21}-{\bar{c}}_1& x_{22}-{\bar{c}}_2& \cdots & x_{2d}-{\bar{c}}_d\\ ⋮& ⋮& ⋮& ⋮\\ x_{n1}-{\bar{c}}_1& x_{n2}-{\bar{c}}_2& \cdots & x_{nd}-{\bar{c}}_d\end{array}\right]}_{n\times d}$

step3:
计算协方差矩阵：
$${\Sigma }_{d\times d}=COV=\frac{1}{n-1}.{{\mathbf{C}}^{\mathbf{T}}}_{d\times n}.{\mathbf{C}}_{n\times d}$$

方法②：

当 $X_{d\times n}$ 矩阵,行表示特征，列表示样本的时候
由协方差矩阵的定义2得：

$X$是由n个d维多元向量组成的矩阵;即X含有n个样本，每个样本都是d维的向量，X是dxn的矩阵
${\mathbf{x}}_1=\left[\begin{array}{c}{\mathrm{x}}_{11}\\ {\mathrm{x}}_{12}\\ ⋮\\ {\mathrm{x}}_{1\mathrm{d}}\end{array}\right]$,${\mathbf{x}}_2=\left[\begin{array}{c}{\mathrm{x}}_{21}\\ {\mathrm{x}}_{22}\\ ⋮\\ {\mathrm{x}}_{2\mathrm{d}}\end{array}\right]$,${\mathbf{x}}_3=\left[\begin{array}{c}{\mathrm{x}}_{31}\\ {\mathrm{x}}_{32}\\ ⋮\\ {\mathrm{x}}_{3\mathrm{d}}\end{array}\right]$
则
${\mathrm{X}}_{\mathrm{d}\times \mathrm{n}}=\left[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdot \cdot \cdot ,{\mathbf{x}}_{\mathbf{n}}\right]={\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1n}\\ x_{21}& x_{22}& \cdots & x_{2n}\\ ⋮& ⋮& ⋮& ⋮\\ x_{d1}& x_{d2}& \cdots & x_{dn}\end{array}\right]}_{d\times n}=\left[\begin{array}{c}{\mathrm{c}}_1\\ {\mathrm{c}}_2\\ ⋮\\ {\mathrm{c}}_{\mathrm{d}}\end{array}\right]$

step1:
按行算均值，得到第 $i$ 行的均值 ${\mu }_i$ 如下：
$${\mu }_i=\frac{\stackrel{n}{\underset{j=1}{\Sigma }}{x}_{ij}}{n}$$
则$X$的均值记为$\mu$, $\mu$是d 维向量

则按行算均值：$\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\\ ⋮\\ {\mu }_{\mathrm{d}}\end{array}\right]=\left[\begin{array}{c}{\bar{\mathrm{c}}}_1\\ {\bar{\mathrm{c}}}_2\\ ⋮\\ {\bar{\mathrm{c}}}_{\mathrm{d}}\end{array}\right]$

step2:
将$X$的每一行减去平均值
${\mathbf{C}}_{d\times n}={\left[\begin{array}{cccc}{x}_{11}-{\bar{c}}_1& x_{12}-{\bar{c}}_1& \cdots & x_{1n}-{\bar{c}}_1\\ x_{21}-{\bar{c}}_2& x_{22}-{\bar{c}}_2& \cdots & x_{2n}-{\bar{c}}_2\\ ⋮& ⋮& ⋮& ⋮\\ x_{d1}-{\bar{c}}_d& x_{d2}-{\bar{c}}_d& \cdots & x_{dn}-{\bar{c}}_d\end{array}\right]}_{d\times n}$

step3:
计算协方差：
$${\Sigma }_{d\times d}=COV=\frac{1}{n-1}.{\mathbf{C}}_{d\times n}.{{\mathbf{C}}^{\mathbf{T}}}_{n\times d}$$

但是numpy里面的cov好像是按 定义2 中方法来计算的，即$X_{d\times n}$
老师上课讲的时候是按第一种方法来计算的

Example

np.cov(m, y=None, rowvar=True, bias=False, ddof=None, fweights=None, aweights=None, *, dtype=None)
参数解释：
m为要计算的 向量or 矩阵
rowvar默认为True,即默认每一行为一个变量，每一列为一个观测值，即每一列为一个样本，每一行为一个特征变量

import numpy as np
x = [[1,2,3],[3,1,1]]
a=np.cov(x)
print(a)

# 在np中，默认输入的矩阵为Xdxn,即按方法2求协方差矩阵
# 所以，计算Xnxd则需要转置为Xdxn，即X需要转为行表示特征，列表示样本，
# 计算出来的才是正确的协方差矩阵
xT = [[1,3],[2,1],[3,1]]
print(xT)
b = np.cov(xT)
print(b)

# np.cov(m, rowvar=False)来直接计算Xnxd的协方差矩阵
print("-"*20)
print(np.cov(x, rowvar=False))

np.cov求协方差矩阵参考博客
np.cov参考博客
np.cov官网

对矩阵X，含有2个样本，每个样本有3个特征
因为X矩阵的行表示样本，列表示特征，所以要用方法①计算：
${\mathrm{X}}_{2\times 3}=\left[\begin{array}{c}{\mathbf{x}}_1^{\mathbf{T}}\\ {\mathbf{x}}_2^{\mathbf{T}}\end{array}\right]={\left[\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\end{array}\right]}_{2\times 3}={\left[\begin{array}{ccc}1& 2& 3\\ 3& 1& 1\end{array}\right]}_{2\times 3}$

按方法①手动计算，就得到协方差矩阵 $\Sigma ={\left[\begin{array}{ccc}2& -1& -2\\ -1& 0.5& 1\\ -2& 1& 2\end{array}\right]}_{3\times 3}$

协方差矩阵的意义

在概率论中，两个随机变量X,Y之间相互关系，大致有下列3种情况：

case1:

情况一,如上, 当 X, Y 的联合分布像上图那样时，我们可以看出，大致上有： X 越大 Y 也越大， X 越小 Y 也越小，这种情况，我们称为“正相关”。

case2:

情况二, 如上图, 当X, Y 的联合分布像上图那样时，我们可以看出，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大，这种情况，我们称为“负相关”。

case3:

情况三,如上图, 当X, Y 的联合分布像上图那样时，我们可以看出：既不是X 越大Y 也越大，也不是 X 越大 Y 反而越小，这种情况我们称为“不相关”。

怎样将这3种相关情况，用一个简单的数字表达出来呢？

• 在图中的区域（1）中，有 X>EX ，Y-EY>0 ，所以(X-EX)(Y-EY)>0；
  在图中的区域（2）中，有 X<EX ，Y-EY>0 ，所以(X-EX)(Y-EY)<0；
  在图中的区域（3）中，有 X<EX ，Y-EY<0 ，所以(X-EX)(Y-EY)>0；
  在图中的区域（4）中，有 X>EX ，Y-EY<0 ，所以(X-EX)(Y-EY)<0。

• 当X 与Y 正相关时，它们的分布大部分在区域（1）和（3）中，小部分在区域（2）和（4）中，所以平均来说，有E(X-EX)(Y-EY)>0 。
  当 X与 Y负相关时，它们的分布大部分在区域（2）和（4）中，小部分在区域（1）和（3）中，所以平均来说，有(X-EX)(Y-EY)<0 。
  当 X与 Y不相关时，它们在区域（1）和（3）中的分布，与在区域（2）和（4）中的分布几乎一样多，所以平均来说，有(X-EX)(Y-EY)=0 。

• 所以，我们可以定义一个表示X, Y 相互关系的数字特征，也就是协方差
  cov(X, Y) = E[(X-EX)(Y-EY)]
  当 cov(X, Y)>0时，表明 X与Y 正相关；
  当 cov(X, Y)<0时，表明X与Y负相关；
  当 cov(X, Y)=0时，表明X与Y不相关。
  且绝对值越大，相关性越大。
  这就是协方差的意义。

• 上面是协方差的意义，协方差堆在一起就组成了协方差矩阵。

参考博客，讲的超好！！！
参考博客
参考博客–知乎