如何计算协方差矩阵

协方差矩阵反映的是多个变量之间的相互关系（包括变量本身的方差和它们之间的协方差）。

协方差的计算公式

假设我们有一个数据集，其中有 $n$ 个样本，每个样本有 $p$ 个变量。令 X = { X 1 , X 2 , … , X p } X = \{X_1, X_2, \dots, X_p\} X={X1​,X2​,…,Xp​} 是变量集，协方差矩阵 $\mathbf{\Sigma }$ 的元素 ${\Sigma }_{ij}$ 是第 $i$ 个变量和第 $j$ 个变量之间的协方差。协方差的公式为：

$$\text{Cov}(X_i,X_j)=\frac{1}{n-1}\sum _{k=1}^n\left(X_{ik}-{\bar{X}}_i\right)\left(X_{jk}-{\bar{X}}_j\right)$$

其中：

• $X_{ik}$ 是第 $k$ 个样本的第 $i$ 个变量的值。

• ${\bar{X}}_i$ 是第 $i$ 个变量的均值，计算公式为：
  $${\bar{X}}_i=\frac{1}{n}\sum _{k=1}^n{X}_{ik}$$

• $\text{Cov}(X_i,X_j)$ 是第 $i$ 个变量和第 $j$ 个变量之间的协方差。

• 当 $i=j$ 时，$\text{Cov}(X_i,X_j)$ 就是第 $i$ 个变量的方差。

计算协方差矩阵的步骤

假设我们有一个 3 个样本的二维数据集，表示为矩阵 $A$：

$$A=\left[\begin{array}{cc}9& 6\\ 5& 3\\ 8& 4\end{array}\right]$$

• 每行表示一个样本，第一列是第一个变量 $X_1$，第二列是第二个变量 $X_2$。
• 样本数 $n=3$，变量数 $p=2$。

步骤1：计算每个变量的均值

• $X_1$ 的均值：
  $${\bar{X}}_1=\frac{9+5+8}{3}=7.33$$
• $X_2$ 的均值：
  $${\bar{X}}_2=\frac{6+3+4}{3}=4.33$$

步骤2：计算每个变量的协方差

• 变量 $X_1$ 和 $X_1$ 的协方差（即方差）：
  $$\text{Cov}(X_1,X_1)=\frac{1}{n-1}\sum _{k=1}^n{\left(X_{1k}-{\bar{X}}_1\right)}^2=\frac{1}{2}\left((9-7.33{)}^2+(5-7.33{)}^2+(8-7.33{)}^2\right)=4.33$$

• 变量 $X_2$ 和 $X_2$ 的协方差（即方差）：
  $$\text{Cov}(X_2,X_2)=\frac{1}{n-1}\sum _{k=1}^n{\left(X_{2k}-{\bar{X}}_2\right)}^2=\frac{1}{2}\left((6-4.33{)}^2+(3-4.33{)}^2+(4-4.33{)}^2\right)=2.33$$

• 变量 $X_1$ 和 $X_2$ 之间的协方差：
  $$\text{Cov}(X_1,X_2)=\frac{1}{n-1}\sum _{k=1}^n\left(X_{1k}-{\bar{X}}_1\right)\left(X_{2k}-{\bar{X}}_2\right)$$
  计算过程为：
  $$=\frac{1}{2}\left((9-7.33)(6-4.33)+(5-7.33)(3-4.33)+(8-7.33)(4-4.33)\right)=2.83$$

步骤3：构建协方差矩阵

现在，我们可以得到协方差矩阵 $\mathbf{\Sigma }$：

$$\mathbf{\Sigma }=\left[\begin{array}{cc}4.33& 2.83\\ 2.83& 2.33\end{array}\right]$$

协方差矩阵的对称性与正定性

1. 对称性：由上面的计算可以看出，协方差矩阵 $\Sigma$ 是对称的，因为：
   $$\text{Cov}(X_1,X_2)=\text{Cov}(X_2,X_1)$$
   这是协方差定义的性质，导致协方差矩阵的对角线下和对角线上元素相等。

2. 正定性：

   • 协方差矩阵的正定性意味着对任意非零向量 $\mathbf{z}$，都有：
     $${\mathbf{z}}^{\top }\mathbf{\Sigma }\mathbf{z}>0$$
   • 直观地理解，正定性确保协方差矩阵描述的系统是“可变”的，而不是“退化”的。这意味着变量间的相互关系可以产生合理的测量。
   • 我们可以通过计算行列式来判断矩阵是否正定。如果行列式大于 0，矩阵就是正定的。

在我们的例子中，协方差矩阵的行列式是：

$$|\mathbf{\Sigma }|=(4.33)(2.33)-(2.83{)}^2=2.08$$

如果行列式为 0，严格来说这个矩阵并不是正定的，而是半正定的。这表明数据中两个变量之间高度线性相关，几乎是线性依赖的。对于一般数据，协方差矩阵应该是正定的。

总结

• 协方差矩阵的对称性：由协方差的定义决定， $\text{Cov}(X_i,X_j)=\text{Cov}(X_j,X_i)$，因此协方差矩阵始终是对称的。
• 协方差矩阵的正定性：确保变量之间有实际的变化和不确定性。正定性可以通过计算行列式或检查其特征值是否全部为正来验证。