深入理解协方差

1.协方差

1.1 均值、标准差、方差

均值：$\bar{X}=E(X)=\frac{1}{n}{\sum }_{i=1}^n{X}_i$

方差：$s^2=D(X)=\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$

标准差：$s=\sqrt{D(X)}=\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}$

均值描述样本集合的中间点，标准差描述样本集合的各个样本点到均值的距离之平均。

除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即“无偏估计”。

1.2 协方差

标准差和方差一般是用来描述一维数据的，协方差是用来度量两个随机变量关系的统计量。

协方差：$cov(X,Y)=\frac{1}{n-1}{\sum }_{i=1}^n(X-\overline{X_i})(Y-\overline{Y_i})$

上式是求$(X-\overline{X_i})(Y-\overline{Y_i})$的均值，所以还可以写做：
$cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)$

协方差的性质：

1. $cov(X,X)=var(X)$
2. $cov(X,Y)=cov(Y,X)$
3. $cov(X,Y)=cov(Y,X)$
4. $c$