方差（Variance）和协方差（Covariance）：统计中的“兄弟”指标

方差与协方差：统计中的“兄弟”指标

在统计学中，方差和协方差是两个核心概念，用来描述数据的分散性和变量间的关系。你可能听说过“方差衡量离散程度，协方差看相关性”，但它们到底有什么区别，又有哪些联系？今天我们就来聊聊这两个“兄弟”指标，从定义到公式，再到多变量场景，带你全面了解它们的奥秘。

---

什么是方差？

方差（Variance）是衡量单个随机变量离散程度（dispersion）的指标，表示数据点偏离其均值的平均平方距离。简单来说，它告诉你数据的“波动”有多大。

数学定义

对于一个随机变量 ( $X$ )，其均值（期望）为 ( $E[X]=\mu$ )，方差定义为：

$$\text{Var}(X)=E[(X-\mu {)}^2]$$

展开期望：

$$\text{Var}(X)=E[X^2-2X\mu +{\mu }^2]=E[X^2]-2\mu E[X]+{\mu }^2=E[X^2]-{\mu }^2$$

所以：

$$\text{Var}(X)=E[X^2]-(E[X]{)}^2$$

通俗例子

想象你在掷骰子，( $X$ ) 是点数（1到6），均值 ( $\mu =3.5$ )。方差计算每个点数偏离3.5的平方平均：

• 数据波动小（如1和2），方差小。
• 数据波动大（如1和6），方差大。

---

什么是协方差？

协方差（Covariance）衡量两个随机变量 ( X ) 和 ( Y ) 如何一起变化，表示它们偏离各自均值的联合波动。简单来说，它告诉你两者是“同向”还是“反向”移动。

数学定义

对于两个随机变量 ( $X$ ) 和 ( $Y$ )，均值分别为 ( $E[X]={\mu }_X$ )、( $E[Y]={\mu }_Y$ )，协方差定义为：

$$\text{Cov}(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]$$

展开期望：

$$\text{Cov}(X,Y)=E[XY-X{\mu }_Y-Y{\mu }_X+{\mu }_X{\mu }_Y]$$

$$=E[XY]-{\mu }_{Y}E[X]-{\mu }_{X}E[Y]+{\mu }_X{\mu }_Y=E[XY]-{\mu }_X{\mu }_Y$$

所以：

$$\text{Cov}(X,Y)=E[XY]-E[X]E[Y]$$

• 正协方差：( $X$ ) 增加时 ( $Y$ ) 也增加。
• 负协方差：( $X$ ) 增加时 ( $Y$ ) 减少。
• 零协方差：( $X$ ) 和 ( $Y$ ) 无线性关联。

通俗例子

还是掷骰子，( $X$ ) 是第一次点数，( $Y$ ) 是第二次点数。两者的协方差可能是零（因为独立）。但如果 ( $Y=X$ )（每次点数相同），协方差就等于方差。

---

方差与协方差的联系

方差和协方差是一对“兄弟”，它们的联系非常直接：

1. 方差是协方差的特殊情况

如果 ( $X=Y$ )（即同一个变量），协方差变成：

$$\text{Cov}(X,X)=E[(X-{\mu }_X)(X-{\mu }_X)]=E[(X-{\mu }_X{)}^2]=\text{Var}(X)$$

所以，方差是变量与自身的协方差。这说明方差是协方差的一种特定形式。

2. 数学结构相似

• 方差：( $\text{Var}(X)=E[(X-\mu {)}^2]$ )
• 协方差：( $\text{Cov}(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]$ )

两者的核心都是“偏离均值的期望”，只是方差看单个变量，协方差看两个变量的联合。

---

方差与协方差的区别

尽管有联系，方差和协方差在定义和用途上有明显差异：

1. 对象不同

• 方差：描述单个变量的离散程度。
• 协方差：描述两个变量的相互关系。

2. 输出含义

• 方差：总是非负（( $\text{Var}(X)\ge 0$ )），单位是变量平方的单位（如 ( ${\text{°C}}^2$ )）。
• 协方差：可以是正、负或零，单位是两个变量单位的乘积（如 ( $\text{°C}\cdot \text{mm}$ )）。

3. 可解释性

• 方差：直接衡量波动大小，数值越大，数据越分散。
• 协方差：只反映方向（正负），大小受变量尺度影响，难以直观比较。

---

多变量情况：协方差矩阵

当涉及多个变量时，方差和协方差的概念扩展到矩阵形式，称为协方差矩阵（Covariance Matrix）。

定义

对于一个 ( $n$ ) 维随机向量 ( $X=[X_1,X_2,\dots ,X_n{]}^T$ )，均值为 ( $\mu =E[X]$ )，协方差矩阵 ( $\Sigma$ ) 是：

$$\Sigma =E[(X-\mu )(X-\mu {)}^T]$$

矩阵元素为：

$${\Sigma }_{ij}=\text{Cov}(X_i,X_j)$$

• 对角元素：( ${\Sigma }_{ii}=\text{Var}(X_i)$ )，是每个变量的方差。
• 非对角元素：( ${\Sigma }_{ij}=\text{Cov}(X_i,X_j)$ )（( $i\ne j$ )），是变量间的协方差。

例子

假设 ( $X=[X_1,X_2{]}^T$ ) 表示身高和体重：

$$\Sigma =\left[\begin{array}{cc}\text{Var}(X_1)& \text{Cov}(X_1,X_2)\\ \text{Cov}(X_2,X_1)& \text{Var}(X_2)\end{array}\right]$$

• ( $\text{Var}(X_1)$ )：身高的方差。
• ( $\text{Cov}(X_1,X_2)$ )：身高和体重的协方差（对称矩阵，( $\text{Cov}(X_1,X_2)=\text{Cov}(X_2,X_1)$ )）。

---

实际应用

1. 数据分析

• 方差：评估单个变量的稳定性。比如，方差大的考试成绩说明学生水平差异大。
• 协方差：探索变量关系。比如，身高和体重的正协方差提示两者相关。

2. 参数估计

在统计中，协方差矩阵（如 ( $I(\theta {)}^{-1}$ )）给出估计量的精度，而方差是其对角元素。例如，Cramér-Rao界：

$$\text{Cov}(\hat{\theta })\ge I(\theta {)}^{-1}$$

可以参考笔者的另一篇博客：Cramér-Rao界：参数估计精度的“理论底线”

3. 机器学习

• PCA（主成分分析）：协方差矩阵的特征分解找到数据的主方向，方差决定保留哪些维度。
• 回归模型：协方差分析变量间的多重共线性。

---

总结

方差和协方差是统计学中的“兄弟”指标：方差是单个变量的离散度，协方差是两个变量的联合波动。方差是协方差的特例（( $\text{Var}(X)=\text{Cov}(X,X)$ )），但用途不同——方差看分散，协方差看关系。在多变量场景下，它们融合成协方差矩阵，成为理解数据结构的关键工具。下次分析数据时，不妨用方差看看波动，用协方差探探关联，二者结合，数据故事更完整！

后记

2025年2月25日13点33分于上海，在Grok 3大模型辅助下完成。