统计学中的均值、方差、协方差

随机变量的数字特征：
（1）均值： 描述一维随机变量，表明信息是有限的。
（2）方差、标准差： 描述一维随机变量的数据的“散布度”。
（3）协方差：度量两个随机变量关系的统计量。

方差的定义：

协方差定义：代表了两个随机变量是否同时偏离均值。一般都用后面那个协方差公式。

协方差物理意义：衡量两个随机变量的相关性
当cov(X, Y)>0时，表明 X与Y 正相关，大致上有： X 越大 Y 也越大， X 越小 Y 也越小；
当cov(X, Y)<0时，表明 X与Y 负相关，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大；
当cov(X, Y)=0时，表明 X与Y 不相关，既不是X 越大Y 也越大，也不是 X 越大 Y 反而越小。

ρ为相关系数，为1表示两个随机变量线性相关。
独立 => 不相关 =协方差为0。

——————————————————————————————————————————
概率论中方差公式和协方差公式都除以(n-1)而不是n，一直不太明白为什么，解释如下：

假设X为独立同分布的一组随机变量，总体为M，随机抽取N个随机变量构成一个样本，是总体均值， 是总体方差, 都是常数。
是样本的均值和方差，由于样本随机抽取，因此这两个也是随机变量。

上式中可以看出，样本均值这个随机变量的期望就是总体的均值，因此可以说均值是无偏的。（当样本数量很多时，可以用样本均值近似总体均值，估计是无偏的）

接下来看样本方差的均值：

联立上面两式，跟据 D(X拔)=E[(X拔-E(X拔))^2] 把D(X拔)展开消去带X拔的统计量，就能得到如下结果。

其实本质上也就是证明： 除以n-1算得的样本方差的均值=总体方差的均值

因为这两项大小不相等：除以n算得的样本方差始终小于总体方差。用该样本方差代替总体方差会导致低估方差。不是无偏估计。

n-1既为自由度，就是说，在一个容量为n的样本里，当确定了n-1个变量以后，第n个变量就确定了，因为样本均值是无偏的。
协方差除以m-1原理和方差一样，因为方差为协方差的特殊情况。
无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。

原文出处：
http://blog.sina.com.cn/s/blog_c96053d60101n24f.html
https://blog.csdn.net/zhoucoolqi/article/details/80380095