协方差的意义和计算公式

在概率统计中我们学习的最基本的知识有：均值，方差，标准差。

均值

$$\bar{X}= \frac{1}{n}\sum_{i = 1}^{n}{X_i}$$
它表示的是一组数据的集中趋

方差

$$S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i - \bar{X})^2$$

标准差

$$S = \sqrt{方差}=\sqrt{S^2}$$
方差和标准差表示一组数据的离散程度

协方差

$$cov(X, Y) = \frac{\sum_{i=1}^n(X_i - \bar{X})(Y_i - \bar{Y})}{n-1}$$

协方差表示的意义是什么呢？

从公式我们可以看出：

$$cov(X, Y)= \begin{cases} > 0, X和Y正相关\\ < 0, X和Y负相关\\ = 0, X和Y相互独立 \end{cases}$$

协方差矩阵

这只是从一维的角度去解释协方差，如果放到高维空间又会怎样？
当然我们会使用协方差矩阵，且协方差矩阵的定义如下：

$$C{n \times{n}}=(c_{i, j}, c_{j, i} = cov(Dim_i, Dim_j))$$
我们用一个3维的例子来表示
$$C= \begin{pmatrix} cov(x, x) & cov(x, y)& cov(x, z)\\ cov(y, x) & cov(y, y)&cov(y, z) \\ cov(z, x) &cov(z, y)&cov(z, z) \end{pmatrix}$$