漫步数理统计十八——相关系数

对于两个随机变量，我们这里用$X,Y$而不是$X_1,X_2$来表示结论，另外我们不在分开讨论连续与离散的情况，统一用连续符号，但是这些性质对离散情况也满足。令$X,Y$的联合pdf为$f(x,y)$，如果$u(x,y)$是$x,y$的函数，那么$E[u(X,Y)]$存在的话就如前面讲的那样定义。我们假设这里讨论的数学期望均存在，$X,Y$的均值$\mu_1,\mu_2$通过取$u(x,y)$为$x,y$ 即可获得；$X,Y$的方差$\sigma_1^2,\sigma_2^2$通过取$u(x,y)$为$(x-\mu_1)^2,(y-\mu_2)^2$即可获得。考虑数学期望

$$\begin{align*} E[(X-\mu_1)(Y-\mu_2)] &=E(XY-\mu_2X-\mu_1Y+\mu_1\mu_2)\\ &=E(XY)-\mu_2E(X)-\mu_1E(Y)+\mu_1\mu_2\\ &=E(XY)-\mu_1\mu_2 \end{align*}$$

这个数称为$X,Y$的协方差，经常用$cov(X,Y)$表示。

如果$\sigma_1,\sigma_2$都是正的，那么

$$\rho=\frac{E[(X-\mu_1)(Y-\mu_2)]}{\sigma_1\sigma_2}=\frac{cov(X,Y)}{\sigma_1\sigma_2}$$

称为$X,Y$的相关系数，注意两个随机变量相乘的期望值等于他们各自期望值相乘并加上他们的协方差；即$E(XY)=\mu_1\mu_2+\rho\sigma_1\sigma_2=\mu_1\mu_2+cov(X,Y)$。

$\textbf{例1：}$令随机变量$X,Y$的联合pdf为

$$f(x,y)= \begin{cases} x+y&0<x<1,0<y<1\\ 0&elsewhere \end{cases}$$

我们将计算$X,Y$的相关系数$\rho$接下里

$$\mu_1=E(X)=\int_0^1\int_0^1x(x+y)dxdy=\frac{7}{12}$$

且

$$\sigma_1^2=E(X^2)-\mu_1^2=\int_0^1\int_0^1x^2(x+y)dxdy-\left(\frac{7}{12}\right)^2=\frac{11}{144}$$

同样的

$$\mu_2=E(Y)=\frac{7}{12},\sigma_2^2=E(Y^2)-\mu_2^2=\frac{11}{144}$$

$X,Y$的协方差为

$$E(XY)-\mu_1\mu_2=\int_0^1\int_0^1xy(x+y)dxdy-\left(\frac{7}{12}\right)^2=-\frac{1}{144}$$

那么$X,Y$的相关系数为

$$\rho=\frac{-\frac{1}{144}}{\sqrt{(\frac{11}{144})(\frac{11}{144})}}=-\frac{1}{11}$$

$\textbf{注1：}$对一些两个随机变量的分布，$X,Y$，相关系数$\rho$是该分布非常有用的特征。不幸的是，$\rho$的正式定义没有揭示这个事实，现在我们观察一下$\rho$，更多的内容会在后面继续讲解。之后我们会看到如果两个随机变量的联合分布有相关系数(即如果方差都为正)，那么$\rho$满足$-1\leq\rho\leq 1$，如果$\rho=1$，那么存在一条直线满足方程$y=a+bx,b>0$，它的图像包含所有$X,Y$分布的概率，极端情况下我们有$P(Y=a+bX)=1$，如果$\rho=-1$，我们有同样的情况除了$b<0$。这就引出下面的问题：当$\rho$不是这些极端值时，在$xy$平面内是否有一条直线使得$X,Y$ 的概率集中在这条线的窄带内？在某些限制条件下，的确如此，并且在这些条件下，我们可以将$\rho$作为$X,Y$的概率集中在直线上的聚集程度。

接下来令$f(x,y)$表示两个随机变量$X,Y$的联合pdf，$f_1(x)$表示$X$的边缘pdf，那么给定$X=x$，$Y$的条件pdf为

$$f_{2|1}(y|x)=\frac{f(x,y)}{f_1(x)}$$

其中$f_1(x)>0$，给定$X=x$，$Y$的条件均值为

$$E(Y|x)=\int_{-\infty}^{\infty}yf_{2|1}(y|x)dy=\frac{\int_{-\infty}^{\infty}yf(x,y)dy}{f_{1}(x)}$$

当然这个条件期望是$x$的函数，用$u(x)$表示。同样的，给定$Y=y$，$X$的条件均值为$y$的函数，用$v(y)$表示。

当$u(x)$是$x$的线性函数时，$u(x)=a+bx$，我们说$Y$的条件均值关于$x$是线性的；或者$Y$是一个线性条件均值。

$\textbf{定理1：}$假设$(X,Y)$有联合概率，且$X,Y$的方差为有限的正值，$X,Y$的均值与方差分别表示成$\mu_1,\mu_2,\sigma_1^2,\sigma_2^2$，令$\rho$表示$X,Y$的相关系数。如果$E(Y|X)$在$X$上是线性的，那么

$$E(Y|X)=\mu_2+\rho\frac{\sigma_2}{\sigma_1}(X-\mu_1)$$

且

$$E(var(Y|X))=\sigma_2^2(1-\rho^2)$$

$\textbf{证明：}$这里给出的是连续情况，离散情况只需要将积分符号换成求和即可。令$E(Y|x)=a+bx$，从

$$E(Y|x)=\frac{\int_{-\infty}^{\infty}yf(x,y)dy}{f_1(x)}=a+bx$$

我们有

$$\begin{equation} \int_{-\infty}^{\infty}yf(x,y)dy=(a+bx)f_1(x)\tag1 \end{equation}$$

两边都对$x$进行积分可得

$$E(Y)=a+bE(X)$$

或者

$$\begin{equation} \mu_2=a+b\mu_1\tag2 \end{equation}$$

其中$\mu_1=E(X),\mu_2=E(Y)$。如果等式1两边都乘以$x$并对$x$积分，那么

$$E(XY)=aE(X)+bE(X^2)$$

或者

$$\begin{equation} \rho\sigma_1\sigma_2+\mu_1\mu_2=a\mu_1+b(\sigma_1^2+\mu_1^2)\tag3 \end{equation}$$

其中$\rho\sigma_1\sigma_2$是$X,Y$的协方差，联立等式2,3可得

$$a=\mu_2-\rho\frac{\sigma_2}{\sigma_1}\mu_1\quad b=\rho\frac{\sigma_2}{\sigma_1}$$

第一个等式得证。

$Y$的条件方差为

$$\begin{align*} var(Y|x) &=\int_{-\infty}^{\infty}\left[y-\mu_2-\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)\right]^2f_{2|1}(y|x)dy\\ &=\frac{\int_{-\infty}^{\infty}\left[y-\mu_2-\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)\right]^2f(y|x)dy}{f_1(x)} \end{align*}$$

这个方差是非负的且顶多是$x$的函数。然后两边乘以$f_1(x)$并对$x$积分，则结果也是非负的，结果为

$$\begin{align*} &\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\left[y-\mu_2-\rho\frac{\sigma_2}{\sigma_1}(x-\mu_1)\right]^2f(y|x)dydx\\ &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\left[(y-\mu_2)^2-2\rho\frac{\sigma_2}{\sigma_1}(y-\mu_2)(x-\mu_1)+\rho^2\frac{\sigma_2^2}{\sigma_1^2}(x-\mu_1)^2\right]f(y|x)dydx\\ &=E[(Y-\mu_2)^2]-2\rho\frac{\sigma_2}{\sigma_1}E[(X-\mu_1)(Y-\mu_2)]+\rho^2\frac{\sigma_2^2}{\sigma_1^2}E[(X-\mu_1)^2]\\ &=\sigma_2^2-2\rho\frac{\sigma_2}{\sigma_1}\rho\sigma_1\sigma_2+\rho^2\frac{\sigma_2^2}{\sigma_1^2}\sigma_1^2\\ &=\sigma_2^2-2\rho^2\sigma_2^2+\rho^2\sigma_2^2=\sigma_2^2(1-\rho^2) \end{align*}$$

得证。$||$

注意如果方差用$k(x)$表示，那么$E[k(X)]=\sigma_2^2(1-\rho^2)\geq 0$，从而$\rho^2\leq 1$或者$-1\leq\rho\leq 1$。无论条件均值是否为线性，$-1\leq\rho\leq1$均成立。

假设方差是正的但不是$x$的函数；即方差是一个常数$k>0$，那么如果用$k$乘以$f_1(x)$然后在$x$上积分，结果为$k$使得$k=\sigma_2^2(1-\rho^2)$，这时候给定$X=x$，$Y$的条件分布方差都为$\sigma_2^2(1-\rho^2)$。如果$\rho=0$，那么其为$\sigma_2^2$，$Y$的边缘分布方差。另一方面，如果$\rho^2$接近1，那么给定$X=x$，$Y$的条件分布方差非常小，这个条件分布的概率高度聚集在均值$E(Y|x)=\mu_2+\rho(\sigma_2/\sigma_1)(x-\mu_1)$，如果$E(X|y)$是线性的话，这些结论都成立。特别地，$E(X|y)=\mu_1+\rho(\sigma_1/\sigma_2)(y-\mu_2),E[var(X|y)]=\sigma_1^2(1-\rho^2)$

$\textbf{例2：}$令随机变量$X,Y$有线性的条件均值$E(Y|x)=4x+3,E(X|y)=\frac{1}{16}y-3$，根据线性条件均值的一般公式，如果$x=\mu_1$，我们有$E(Y|x)=\mu_2$，如果$y=\mu_2$，$E(X|y)\mu_1$。那么对于这种情况，我们有$\mu_2=4\mu_1+3,\mu_1=\frac{1}{16}\mu_2-3$，故$\mu_1=-\frac{15}{4},\mu_2=-12$。线性条件均值的一般公式也说明了$x,y$系数的乘积等于$\rho^2$，这些系数商等于$\sigma_2^2/\sigma_1^2$，这里$\rho^2=4(\frac{1}{16})=\frac{1}{4}$，其中$\rho=\frac{1}{2},\sigma_2^2/\sigma_1^2=64$，因此从两个线性均值中，我们能找出$\mu_1,\mu_2,\sigma_2/\sigma_1$的值，但是不能求出$\sigma_1,\sigma_2$的值。

$\textbf{例3：}$为了说明相关系数如何度量$X,Y$对一条线概率的集中程度，令随机变量在图2所示的区域均匀分布，即$X,Y$的联合pdf为

$$f(x,y)= \begin{cases} \frac{1}{4ah}&-a+bx<y<a+bx,-h<x<h\\ 0&elsewhere \end{cases}$$

这里我们假设$b\geq0$，但是当$b\leq0$时可以修饰论点。很容易说明$X$的pdf是均值的，即

$$f_1(x)= \begin{cases} \int_{-a+bx}^{a+bx}\frac{1}{4ah}dy=\frac{1}{2h}&-h<x<h\\ 0&elsewhere \end{cases}$$

图2

条件均值与方差为
$$E(Y|x)=bx, var(Y|x)=\frac{a^2}{3}$$

从上面证明的过程可知

$$b=\rho\frac{\sigma_2}{\sigma_1},\frac{a^2}{3}=\sigma_2^2(1-\rho)$$

另外我们知道$\sigma_1^2=h^2/3$。如果我们求解这是三个方程，可以得到关系系数的表示式，即

$$\rho=\frac{bh}{\sqrt{a^2+b^2h^2}}$$

参照图2，我们可以发现：

1. 当$a$变小(大)，直线效果更加(更不)激烈，$\rho$越接近1(0)。
2. 当$h$变大(小)，直线效果更加(更不)激烈，$\rho$越接近1(0)。
3. 当$b$变大(小)，直线效果更加(更不)激烈，$\rho$越接近1(0)。

回顾之前介绍的随机向量$(X,Y)$的mgf，对于随机变量，联合mgf也给出了某个矩的显式公式。对于连续类型的随机变量，

$$\frac{\partial^{k+m}M(t_1,t_2)}{\partial t_1^k\partial t_2^m}=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}x^ky^me^{t_1x+t_2y}f(x,y)dxdy$$

这样的话

$$\frac{\partial^{k+m}M(t_1,t_2)}{\partial t_1^k\partial t_2^m}\Bigg|_{t_1=t_2=0}=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}x^ky^mf(x,y)dxdy=E(X^kY^m)$$

例如考虑简单的符号，上面的情况就非常清楚了

$$\begin{align*} &\mu_1=E(X)=\frac{\partial M(0,0)}{\partial t_1},\mu_2=E(Y)=\frac{\partial M(0,0)}{\partial t_2}\\ &\sigma_1^2=E(X^2)-\mu_1^2=\frac{\partial^2M(0,0)}{\partial t_1^2}-\mu_1^2,\\ &\sigma_2^2=E(Y^2)-\mu_2^2=\frac{\partial^2M(0,0)}{\partial t_2^2}-\mu_2^2,\\ &E[(X-\mu_1)(Y-\mu_2)]=\frac{\partial^2M(0,0)}{\partial t_1\partial t_2}-\mu_1\mu_2 \end{align*}$$

据此我们可以计算出相关系数$\rho$。

显然，如果$X,Y$是离散类型的随机变量，那么结论依然成立。因此如果联合分布的mgf可以得到的话，可以用它计算出相关系数，如下例所示。

$\textbf{例4：}$考虑联合密度

$$f(x,y)= \begin{cases} e^{-y}&0<x<y<\infty\\ 0&elsewhere \end{cases}$$

对于$t_1+t_2<1,t_2<1$而言，其mgf为

$$M(t_1,t_2)=\frac{1}{(1-t_1-t_2)(1-t_2)}$$

对于该分布可得

$$\begin{align*} \mu_1=1,\mu_2=2\\ \sigma_1^2=1,\sigma_2^2=2\\ E[(X-\mu_1)(Y-\mu_2)]=1 \end{align*}$$

那么$X,Y$的相关系数为$\rho=1/\sqrt{2}$。