协方差

1、相关概念：

1）均值

$\bar X=\frac{\sum_{i=1}^n X_i }{(n-1)}$

2)标准差

$S=\sqrt{\frac{\sum_{i=1}^n (X_i-\bar X)^2}{(n-1)}}$

3)方差

$S^2=\frac{\sum_{i=1}^n (X_i-\bar X)^2}{(n-1)}$

2、协方差
上述一般是用来描述一维数据的，对于多维数据集，量度两个随机变量的关系可使用协方差，定义如下：

$cov(X,Y)=\frac{\sum_{i=1}^n (X_i-\bar X)(Y_i-\bar Y)}{(n-1)}$

3、相关性质

容易得知：
1、$cov(X,X)=var(X)$
2、$cov(X,Y)=cov(Y,X)$
3、$cov(aX,bY)=abcov(X,Y)$
4、$cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)$
当维数变得更多时，就生成了协方差矩阵，例如对于三维数据集{x,y,z},则协方差矩阵为

$$C=\begin{pmatrix} cov(x,x) & cov(x,y) & cov(x,z) \\ cov(y,x) & cov(y,y) & cov(y,z)\\ cov(z,x) & cov(z,y) & cov(z,z) \\ \end{pmatrix}$$