协方差和相关系数

本文摘自《概率论和数理统计》 陈希孺著 中国科学技术大学出版社

协方差和相关系数

现在我们来考虑多维随机向量的数字特征。以二维的情况为例，设$(X, Y)$为二维随机向量。$X, Y$本身都是一维随机变量，可以定义为其均值、方差，在本文中我们记

$E(X) = m_1, E(Y) = m_2, Var(X) = \sigma_1^2, Var(Y) = \sigma_2^2$

协方差定义

我们称$E[(X - m_1)(Y - m_2)]$为$X, Y$的协方差，并记为$Cov(X, Y)^*$。
“协”即“协同”的意思。$X$的方差是$X - m_1$与$X-m_1$的乘积的期望，如今把一个$X-m_1$换为$Y - m_2$，其形式接近方差，又有$X, Y$二者的参与，由此得出协方差的名称。由定义看出，$Cov(X, Y)$与$X, Y$的次序无关，即$Cov(X, Y) = Cov(Y, X)$。可直接由定义得到协方差的一些简单性质。例如，若$c_1, c_2, c_3, c_4$都是常数，则，

$Cov(c_1 X + c_2, c_3Y + c_4) = c_1c_3Cov(X, Y) \qquad$公式（1）

又易知：

$Cov(X, Y) = E(XY) - m_1m_2 \qquad$公式（2）

这些简单的证明就不在这里证明了。

协方差的重要性质

定理1

1. 若$X, Y$独立，则$Cov(X, Y) = 0$
2. $[Cov(X, Y)]^2 \le \sigma_1^2 \sigma_2^2$。等号成立仅当$X, Y$之间有严格的线性关系（即存在常熟$a, b$，使得$Y = a + bX$）时成立。

证明1

因为当$X, Y$独立的时候，$E(XY) = m_1m_2$，且$Cov(X, Y) = E(XY) - m_1m_2$，故$Cov(XY) = m_1m_2 - m_1m_2 = 0$。

证明2

---

预备小知识：

• 若$a, b, c$为常数，$a > 0$，而二次三项式$a t^2 + 2 b t + c$对$t$任何实值都非负，则必有$ac \ge b^2$。（二次函数没有实根 ）
• 如果随机变量$Z$只能够非负值，而$E(Z) = 0$，则$Z = 0$。

证明小知识1：注意到若$ac < b^2$，则$a t^2 + 2 b t + c = 0$有两个不同的实根$t_1 < t_2$，因而$a t^2 + 2 b t + c = a(t - t_1)(t - t_2)$。取$t_0$使$t_1 < t_0 < t_2$，则有$a t_0^2 + 2 b t_0 + c = a(t - t_0)(t_0 - t_2) < 0$，与$a t^2 + 2 b t + c$对任何$t$非负矛盾。这就证明了小知识的第一点。

证明小知识2：若$Z \ne 0$，则因$Z$只能取非负值，它必以一定的大于0的概率取大于0的值，这将导致$E(Z) > 0$，与$E(Z) = 0$的假定不符合。

---

现考虑：

$E[t (X - m_1) + (Y - m_2)]^2 = \sigma_1^2 t^2 + 2Cov(X, Y) t + \sigma_2^2 \qquad$ 公式（3）

由于此等式左边是一个非负随机变量的均值，故它对任何$t$非负。按预备知识1，有

$\sigma_1^2 \sigma_2^2 \ge [Cov(X, Y)]^2 \qquad$公式（4）

进一步，如果公式（4）等号成立，则公式（3）右边等于$(\sigma_1 t \pm \sigma_2)^2$。$\pm$号视$Cov(X, Y) > 0$或 <0 <script type="math/tex" id="MathJax-Element-21936">< 0</script>而定，为确定符合，暂设$Cov(X, Y) > 0$，则公式（3）右边为$(\sigma_1 t + \sigma_2)^2$。此式在$t = t_0 = - \sigma_2 / \sigma_1$时为0。以$t = t_0$带入公式（3），有：

$E[t_0 (X - m_1) + (Y - m_2)]^2 = 0$

再按预备知识2，即知$t_0 (X - m_1) + (Y - m_2) = 0$，因而$X, Y$之间有严格线性关系。

反之，若$X, Y$之间有严格线性关系$Y = aX + b$，则

$\sigma_2^2 = Var(Y) = Var(aX + b) = Var(aX) = a^2 Var(X) = a^2 \sigma_1^2$，

且

$m_2 = E(Y) = aE(X) + b = a m_1 + b$，

因而有

$Y - m_2 = (a X + b) - (a m_1 + b) = a(X - m_1)$。

于是

$Cov(X, Y) = E[(X - m_1) a (X - m_1)] = a[E(X - m_1)] = a\sigma_1^2$

因此，

$[Cov(X, Y)]^2 = a^2 \sigma^4 = \sigma_1^2(a^2 \sigma^2) = \sigma_1^2 \sigma_2^2$

即公式（4）等号成立，这就证明了定理1中第2个知识点的全部结论。

相关系数定义

定义：我们把$\frac{Cov(X, Y)}{\sigma_1 \sigma_2}$称为$X, Y$的相关系数，并记为$Corr(X, Y)^*$。
形式上可以把相关系数视为“标准尺度下的协方差”。变量$X, Y$的协方差作为$(X - m_1)(Y - m_2)$的均值，依赖于$X, Y$的度量单位，选择适当单位使$X, Y$的方差都为1，这协方差就是相关系数。这样就能更好地反应$X, Y$之间的关系，不受单位影响。

定理

1. 若$X, Y$独立，则$Corr(X, Y) = 0$。
2. $-1 \le Corr(X, Y) \le 1$，或$\lvert Corr(X, Y) \rvert \le 1$，等号当且仅当$X$和$Y$有严格的线性关系时能达到。

---

相关解释：

第一条

当$Corr(X, Y) = 0$，（或$Cov(X, Y) = 0$ 一样）时，称“$X, Y$不相关”。本定理1说明由$X, Y$的独立性推出他们的不相关。但反过来一般不成立：由$Corr(X, Y) = 0$不一定有$X, Y$独立。下面是一个简单的例子。

---

例子：

设$(X, Y)$服从单位圆内的均匀分布，即其密度函数为：

$$f(x, y)=\left\{ \begin{aligned} \pi^{-1}\ , & \quad当x^2 + y^2 < 1时 \\ \\ 0 \ , \quad & \quad 当x^2 + y^2 \ge 1时 \end{aligned} \right.$$

由于$x, y$是对称的，故他们拥有相同的概率密度函数。概率密度函数的求法请往下找，这里为了排版美观将其内容放在下方。由于$X, Y$拥有相同的边缘密度函数，所以我们只求一个就可以了：

$$g(x)= \int_{- \sqrt{1 - x^2}}^{\sqrt{1 - x^2}} f(x, y) d_y = \int_{- \sqrt{1 - x^2}}^{\sqrt{1 - x^2}} \pi^{-1} d_y = \left\{ \begin{aligned} 2 \pi^{-1} \sqrt{1 - x^2} \ , &\quad 当\lvert x \rvert <1 时 \\ 0 \ , \qquad \qquad \ & \quad 当 \lvert x \rvert \ge 1 时 \end{aligned} \right.$$

这个函数关于0对称，因此其均值为0，故$E(X) = E(Y) = 0$。而

$Cov(X, Y) = E(XY) - m_1 m_2 = E(XY) = \frac{1}{\pi} \underset{x^2 + y^2 < 1 \quad \quad \ \ \ }{\iint{xy}d_x d_y} = 0$

故$Corr(X, Y) = 0$。但$X, Y$不独立，因为联合密度$f(x, y)$不等于其边缘密度之积$g(x) g(y)$。

---

第二条

相关系数也常称为“线性相关系数”。这是因为，实际上相关系数并不是刻画了$X, Y$之间“一般”关系的程度，而只是“线性关系的程度。这种说法的根据之一就在于，当且仅当$X, Y$具有严格的线性关系时，才有$\lvert Corr(X, Y) \rvert$达到最大值1.可以容易举出例子说明：即使$X$与$Y$有某种严格的函数关系但非线性关系，$\lvert Corr(X, Y) \rvert$不仅不为1，还可以为0.

---

例子：

设$X \sim R (- \frac{1}{2}, \frac{1}{2})$，即区间$[-\frac{1}{2}, \frac{1}{2}]$内均匀分布，而$Y = \cos{X}$，$Y$与$X$有严格的函数关系。但因$E(X) = 0$，得到：

$Cov(X, Y) = E(XY) - m_1 m_2 = E(XY) = E(X \cos{X}) = \int_{-1/2}^{1/2}{x \cos{x}\, d_x} = 0$

故，$Corr(X, Y) = 0$。虽然求出来的相关系数为0，也就是所谓的“不相关”，它们之间确有着严格的关系$Y = \cos{X}$。足见这样的相关只能指线性而言，一超出了这个范围，这个概念就失去了意义。

---

第三条

如果$0 < \lvert Corr(X, Y) \rvert < 1$，则解释为：$X, Y$之间有“一定程度的”线性关系而非严格的线性关系。何谓“一定程度”的线性关系？我们可以用下面的图来说明一下。在这三幅图中，我们都假定$(X, Y)$服从所画区域A内的均匀分布（即联合概率密度$f(x, y)$在A内为$\lvert A \rvert ^ {-1}$，在A外为0，$\lvert A \rvert$为区域A的面积）。在这三张图中，$X, Y$都没有严格的线性关系，因为由$X$的值不能决定$Y$的值。可是，由这几个图我们都能“感觉”出，$X, Y$之间存在着一种线性的“趋势”。这种趋势，在图（a）中已较显著且是正向的（$X$增加$Y$倾向于增加），这相应于$Corr(X, Y)$大比较显著地大于0。在（b）中，这种线性趋势比（a）更明显，程度更大，反映$\lvert Corr(X, Y) \rvert$比（a）的情况更大，但为负向的。至于（c），则多少有一点线性倾向，但已经很微弱，所以$Corr(X, Y)$虽然大于0，但是很接近0。

---

边缘密度函数

概率密度函数的求法如下：设$X = (X_1, \cdots, X_n)$有概率密度函数$f(x_1, \cdots, x_n)$，为求分量$X_i$的概率密度函数，只需要把$f(x_1, \cdots, x_n)$中的$x_i$固定，然后对$x_1, \cdots, x_{i - 1}, x_{i + 1}, \cdots, x_{n}$在$-\infty$到$+\infty$之间做定积分。例如，$X_1$的概率密度函数为：

$f_1(x_1) = \int_{-\infty}^{+\infty} \cdots \int_{- \infty}^{+ \infty} f(x_1, x_2, \cdots, x_n) d_{x_2} \cdots d_{x_n}$

---