数理统计之协方差矩阵

---

前言：

本文介绍数理统计和机器学习中的一个非常重要的概念：协方差矩阵（即随机变量的数字特征）。理解好这个概念将有助于对机器学习的相关内容如：主成分分析（即PCA：Principal Component Analysis），线性判别分析（即LDA：Linear Discriminant Analysis）的学习。

---

1.方差

方差(variance)的数学定义为：
$$D(X)=E[X-E(X){]}^2$$
其中$E(X)$是随机变量的均值也就是平均值，那么这个公式就是随机变量$[X-E(X){]}^2$的均值（平均值），如果读者有一定的概率论与数理统计的基础上面的概念应该是比较好理解的。
通俗的讲，方差就是随机变量的取值相对于均值的偏离程度，也就是说比如我们有一个数组$X=[x_1,x_2,....x_n]$,那么我们要研究这个数组的一些性质，如这个数组的里面的变量的离散程度，那么就可以用到方差这个数学概念。

关于方差的计算，可以调用numpy库中的cov方法
用法为：numpy.cov(m, y=None, rowvar=True, bias=False, ddof=None, fweights=None, aweights=None, *, dtype=None)
关于这个函数，当我们输入1维变量时，将得到这个变量的方差，当输入的是n维变量时，将得到这n维变量的协方差矩阵（协方差和协方差矩阵下面会介绍👇）

#换成另一个数组1,2,3,4,5得到这个五个数字的离散程度
import numpy as np
X1 = np.array([1,2,3,4,5])
X1.cov()
#输出结果为
array(2.5)

#这里这个数组的值相同都为1，所以离散程度为0，所以方差为0
import numpy as np
X1 = np.array([1,1,1,1,1])
X1.cov()
#输出结果为
array(0.)

---

2.协方差

方差的概念是基于一个随机变量，如果涉及到两个变量的话，就要引入协方差的概念。方差是描述随机变量的离散程度，而对于两个随机变量$X，Y$，如果我们研究它们各自的离散程度，那么便直接计算它们的方差即可。但是，我们如果想要知道这两个随机变量的之间的关系，就要用到协方差，协方差(covariance)的定义为：