期望、方差、标准差、偏差、协方差和协方差矩阵

期望
一件事情有n种结果，每一种结果值为$x_i$，发生的概率记为$p_i$，那么该事件发生的期望为：

$$E=\sum_{i=1}^{n}{x_i}{p_i}$$
方差
$$S^2=\frac{1}{n}\sum_{i=1}^{n}{(X_i-\mu)}^2$$
其中： $\mu$为全体平均数
标准差
标准差为方差的算术平方根，方差和标准差能反映数据的离散程度。
偏差
$$S^2=\frac{1}{n}\sum_{i=1}^{n}{(y_i-f(x_i))}^2$$
$y_i$表示预测值， $f(x_i)$表示真实值。 偏差描述了准确性，方差描述了稳定性。
协方差
协方差代表了两个变量之间的关系。如果 协方差为正值，说明两个变量呈正相关；如果 协方差为负值，则两个变量呈负相关；若 协方差为0，两个变量相互独立。
期望值分别为 $E(X)$和 $E(Y)$的两个实随机变量 $X$和$Y$之间的协方差 $Cov(X,Y)$定义为：
$$Cov(X, Y)=E[(X-E[X]) (Y-E[Y])]$$ $$=E[XY]-2E[Y]E[X]+E[X]E[Y]$$ $$=E[XY]-E[X]E[Y]$$
协方差矩阵
多个变量之间的协方差构成协方差矩阵，协方差矩阵是对称矩阵,即 $Cov(X,Y)=Cov(Y,X)$
协方差矩阵如下表示：

参考：
https://blog.csdn.net/beechina/article/details/51074750
https://baike.baidu.com/item/%E5%8D%8F%E6%96%B9%E5%B7%AE/2185936