漫步数理统计十九——独立随机变量

令$X,Y$表示连续型随机变量，其联合pdf为$f(x_1,x_2)$，边缘概率密度分别为$f_1(x_1),f_2(x_2)$，与条件pdf$f_{2|1}(x_2|x_1)$定义一样，我们可以将联合pdf$f(x_1,x_2)$写成

$$f(x_1,x_2)=f_{2|1}(x_2|x_1)f_1(x_1)$$

假设有一个实例，其中$f_{2|1}(x_2|x_1)$不依赖于$x_1$，那么$X_2$的边缘pdf为

$$\begin{align*} f_2(x_2) &=\int_{-\infty}^{\infty}f_{2|1}(x_2|x_1)f_1(x_1)dx_1\\ &=f_{2|1}(x_2|x_1)\int_{-\infty}^{\infty}f_1(x_1)dx_1\\ &=f_{2|1}(x_2|x_1) \end{align*}$$

因此当$f_{2|1}(x_2|x_1)$不依赖$x1$时，

$$f_2(x_2)=f_{2|1}(x_2|x_1),f(x_1,x_2)=f_1(x_1)f_2(x_2)$$

即如果给定$X_1=x_1$，$X_2$的条件分布独立于$x_1$的任何假设，那么$f(x_1,x_2)=f_1(x_1)f_2(x_2)$。

同样的讨论对离散情况也成立，下面的定义中括号内对应离散情况。

$\textbf{定义1：}$随机变量$X_1,X_2$有联合pdf$f(x_1,x_2)$(联合pmf$p(x_1,x_2)$，边缘pdfs(pmfs)分别为$f_1(x_1)(p_1(x_1)),f_2(x_2)(p_2(x_2))$，当且仅当$f(x_1,x_2)\equiv f_1(x_1)f_2(x_2)(p(x_1,x_2)\equiv p_1(x_1)p_2(x_2))$时，我们称随机变量$X_1,X_2$是独立的，对于不是独立的随机变量我们称为互相依赖。

$\textbf{注1：}$对于前面的定义这里给出两点批注。首先，两个正函数$f_1(x_1)f_2(x_2)$的乘积是一个函数，在乘积空间上它是正的。即如果$f_1(x_1),f_2(x_2)$分别只在空间$\textbf{S}_1,\textbf{S}_2$上是正的，那么$f_1(x_1),f_2(x_2)$只在乘积空间$\textbf{S}=\{(x_1,x_2):x_1\in\textbf{S}_1,x_2\in\textbf{S}_2\}$ 上是正的。例如，如果$\textbf{S}_1=\{x_1:0<x_1<1\},\textbf{S}_2=\{x_2:0<x_2<3\}$，那么$\textbf{S}=\{(x_1,x_2):0<x_1<1,0<x_2<3\}$。第二个批注是关于恒等式，定义1中的恒等式解释如下，存在点$(x_1,x_2)\in\textbf{S}$使得$f(x_1,x_2)\neq f_1(x_1)f_2(x_2)$，然而，如果$A$是这种点的集合，那么$P(A)=0$。随后的定理以及泛化中，非负函数的乘积与恒等式应该用同样的方式解释。

$\textbf{例1：}$令$X_1,X_2$的联合pdf为

$$f(x_1,x_2)= \begin{cases} x_1+x_2&0<x_1<1,0<x_2<1\\ 0&elsewhere \end{cases}$$

我们将说明$X_1,X_2$是相关的。这里边缘概率密度为

$$f_1(x_1)= \begin{cases} \int_{-\infty}^{\infty}f(x_1,x_2)dx_2=\int_0^1(x_1+x_2)dx_2=x_1+\frac{1}{2}&0<x_1<1\\ 0&elsewhere \end{cases}$$

以及

$$f_2(x_2)= \begin{cases} \int_{-\infty}^{\infty}f(x_1,x_2)dx_1=\int_0^1(x_1+x_2)dx_1=x_2+\frac{1}{2}&0<x_2<1\\ 0&elsewhere \end{cases}$$

因为$f(x_1,x_2)\neq f_1(x_1)f_2(x_2)$，所以随机变量$X_1,X_2$是相关的。

下面的定理说明在不计算变换概率密度函数的情况下，也能判断随机变量的独立性。

$\textbf{定理1：}$令$X_1,X_2$的支撑分别是$\textbf{S}_1,\textbf{S}_2$，联合pdf为$f(x_1,x_2)$，那么当且仅当$f(x_1,x_2)$可以写成$x_1$的非负函数与$x_2$非负函数的乘积时，即

$$f(x_1,x_2)\equiv g(x_1)h(x)2)$$

他们是独立的，其中$g(x_1)geq 0,x_1\in\textbf{S}_1$，其他地方为零，$h(x_2)>0,x_2\in\textbf{S}_2$，其他地方为零。

$\textbf{证明：}$如果$X_1,X_2$是独立的，那么$f(x_1,x_2)\equiv f_1(x_1)f_2(x_2)$，其中$f_1(x_1),f_2(x_2)$是$X_1,X_2$的边缘概率密度函数，因此条件$f(x_1,x_2)\equiv g(x_1)h(x_2)$满足。

反过来，如果$f(x_1,x_2)\equiv g(x_1)h(x_2)$，那么对于连续性随机变量，我们有

$$f_1(x_1)=\int_{-\infty}^{\infty}g(x_1)h(x_2)dx_2=g(x_1)\int_{-\infty}^{\infty}h(x_2)dx_2=c_1g(x_1)$$
以及
$$f_2(x_2)=\int_{-\infty}^{\infty}g(x_1)h(x_2)dx_1=h(x_2)\int_{-\infty}^{\infty}g(x_1)dx_1=c_2h(x_2)$$
其中 $c_1,c_2$是常数，不是 $x_1$或 $x_2$的函数。而且 $c_1c_2=1$，因为
$$1=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x_1)h(x_2)dx_1dx_2=\left[\int_{-\infty}^{\infty}g(x_1)dx_1\right]\left[\int_{-\infty}^{\infty}h(x_2)dx_2\right]=c_1c_2$$

这些结果说明

$$f(x_1,x_2)\equiv g(x_1)h(x_2)\equiv c_1g(x_1)c_2h(x_2)\equiv f_1(x_1)f_1(x_2)$$

从而$X_1,X_2$是独立的。$||$

这个定理对离散情况也成立，只需要将联合pdf替换为联合pmf。

如果考虑例1，其联合pdf为

$$f(x_1,x_2)= \begin{cases} x_1+x_2&0<x_1<1,0<x_2<1\\ 0&elsewhere \end{cases}$$

无法写成$x_1$的非负函数与$x_2$非负函数的乘积，所以$X_1,X_2$是相关的。

$\textbf{例2：}$令随机变量$X_1,X_2$的pdf为$f(x_1,x_2)=8x_1x_2,0<x_1<x_2<1$，其他地方为零。$8x_1x_2$可能说明$X_1,X_2$是独立的，然而如果考虑空间$\textbf{S}=\{(x_1,x_2):0<x_1<x_2<1\}$，可以看出它不是一个乘积空间。显然如果$X_1,X_2$正概率密度空间的边界既不是水平轴也不是垂直轴的话，那么他们是相关的。

除了pdf(pmf)外，我们还可以用累积分布函数来说明独立性，下面定理给出了等价性。

$\textbf{定理2：}$令$(X_1,X_2)$的联合cdf为$F(x_1,x_2)$，$X_1,X_2$的边缘cdf分别为$F_1(x_1),F_2(x_2)$，那么$X_1,X_2$是独立的当且仅当对所有的$(x_1,x_2)\in R^2$，

$$F(x_1,x_2)=F_1(x_1)F_2(x_2)$$

$\textbf{证明：}$我们给出连续情况的证明，假设上式成立，那么混合二阶导为

$$\frac{\partial^2}{\partial x_1\partial x_2}F(x_1,x_2)=f_1(x_1)f_2(x_2)$$

因此$X_1,X_2$是独立的。反过来，假设$X_1,X_2$是独立的，那么根据联合cdf的定义

$$\begin{align*} F(x_1,x_2) &=\int_{-\infty}^{x_1}\int_{-\infty}^{x_2}f_1(w_1)f_2(w_2)dw_2dw_1\\ &=\int_{-\infty}^{x_1}f_1(w_1)dw_1\cdot\int_{-\infty}^{x_2}f_2(w_2)dw_2=F_1(x_1)F_2(x_2) \end{align*}$$

因此满足定理中的条件。$||$

接下来我们给出一个定理，它简化了设计独立变量的概率计算。

$\textbf{定理3：}$随机变量$X_1,X_2$是独立的随机变量，当且仅当对于每个$a<b,c<d$，其中$a,b,c,d$是常数，下面的条件成立

$$P(a<X_1\leq b,c<X_2\leq d)=P(a<X_1\leq b)P(c<X_2\leq d)$$

$\textbf{证明：}$如果$X_1,X_2$是独立的，那么上面的定理说明

$$\begin{align*} P(a<X_1\leq b,c<X_2\leq d) &=F(b,d)-F(a,d)-F(b,c)+F(a,c)\\ &=F_1(b)F_2(d)-F_1(a)F_2(d)-F_1(b)F_2(c)+F_1(a)F_2(c)\\ &=[F_1(b)-F_1(a)][F_2(d)-F_2(c)] \end{align*}$$

右边就是定理中表达式的右边。反过来，如果定理中的条件成立，这就意味着$(X_1,X_2)$的联合cdf可以分成边缘cdf的乘积，根据定理2可知这就意味着$X_1,X_2$是独立的。$||$

$\textbf{例3：}$定理3中条件需要独立成立才行。例如考虑例1中的相关随机变量$X_1,X_2$，对于这些随机变量我们有

$$P(0<X_1<\frac{1}{2},0<X_2<\frac{1}{2})=\int_0^{1/2}\int_0^{1/2}(x_1+x_2)dx_1dx_2=\frac{1}{8}$$

而

$$\begin{align*} &P(0<X_1<\frac{1}{2})=\int_0^{1/2}(x_1+\frac{1}{2})dx_1=\frac{3}{8}\\ &P(0<X_2<\frac{1}{2})=\int_0^{1/2}(x_2+\frac{1}{2})dx_2=\frac{3}{8} \end{align*}$$

因此定理中的条件不成立。

当随机变量独立时，不仅概率计算变得简单，许多期望，包含矩生成函数，也变得简单。下面定理中的结论非常有用。

$\textbf{定理4：}$假设$X_1,X_2$是独立的且$E(u(X_1)),E(v(X_2))$存在，那么

$$E[u(X_1)v(X_2)]=E[u(X_1)]E[v(X_2)]$$

$\textbf{证明：}$我们给出连续情况的证明。$X_1,X_2$的独立性说明$X_1,X_2$的联合pdf为$f_1(x_1)f_2(x_2)$，因此根据期望的定义我们有

$$\begin{align*} E[u(X_1)v(X_2)] &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}u(x_1)v(x_2)f_1(x_1)f_2(x_2)dx_1dx_2\\ &=\left[\int_{-\infty}^{\infty}u(x_1)f_1(x_1)dx_1\right]\left[\int_{-\infty}^{\infty}v(x_2)f_2(x_2)dx_2\right]\\ &=E[u(X_1)]E[v(X_2)] \end{align*}$$

得证。$||$

$\textbf{例4：}$令$X,Y$是两个独立的随机变量，其均值与方差分别为$\mu_1,\mu_2,\sigma_1^2,\sigma_2^2$。我们将说明$X,Y$的独立性意味着$X,Y$的相关系数为零。这是因为$X,Y$的协方差为

$$E[(X-\mu_1)(Y-\mu_2)]=E(X-\mu_1)E(Y-\mu_2)=0$$

接下来我们证明一个关于独立随机变量非常有用的定理，这个定理的证明依赖于之前mgf的一个性质，当它存在时，它唯一的确定一个概率分布。

$\textbf{定理5：}$假设随机变量$X_1，X_2$的联合mgf$M(t_1,t_2)$存在，那么$X_1,X_2$独立，当且仅当

$$M(t_1,t_2)=M(t_1,0)M(0,t_2)$$

即联合mgf可以分解成边缘mgf的乘积。

$\textbf{证明：}$如果$X_1,X_2$是独立的，那么

$$\begin{align*} M(t_1,t_2) &=E(e^{t_1X_1+t_2X_2})\\ &=E(e^{t_1X_1}e^{t_2X_2})\\ &=E(e^{t_1X_1})E(e^{t_2X_2})\\ &=M(t_1,0)M(0,t_2) \end{align*}$$

因此$X_1,X_2$的独立性意味着联合分布的mgf可以分解为两个边缘分布的矩生成函数的乘积。

接下来假设$X_1,X_2$联合分布的mgf为$M(t_1,t_2)=M(t_1,0)M(0,t_2)$，接下来$X_1$有唯一的mgf，对于连续情况为

$$M(t_1,0)=\int_{-\infty}^{\infty}e^{t_1x_1}f_1(x_1)dx_1$$

同样的，$X_2$唯一的mgf为

$$M(0,t_2)=\int_{-\infty}^{\infty}e^{t_2x_2}f_2(x_2)dx_2$$

因此我们有

$$\begin{align*} M(t_1,0)M(0,t_2) &=\left[\int_{-\infty}^{\infty}e^{t_1x_1}f_1(x_1)dx_1\right]\left[\int_{-\infty}^{\infty}e^{t_2x_2}f_2(x_2)dx_2\right]\\ &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{t_1x_1+t_2x_2}f_1(x_1)f_2(x_2)dx_1dx_2 \end{align*}$$

因为$M(t_1,t_2)=M(t_1,0)M(0,t_2)$；所以

$$M(t_1,t_2)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{t_1x_1+t_2x_2}f_1(x_1)f_2(x_2)dx_1dx_2$$

但是$M(t_1,t_2)$是$X_1,X_2$的mgf，因此

$$M(t_1,t_2)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}e^{t_1x_1+t_2x_2}f(x_1,x_2)dx_1dx_2$$

mgf的唯一性说明概率分布是相同的，因此

$$f(x_1,x_2)\equiv f_1(x_1)f_2(x_2)$$

即如果$M(t_1,t_2)=M(t_1,0)M(0,t_2)$，那么$X_1,X_2$是独立的。对于离散情况，只需要将积分符号换成求和即可。$||$

$\textbf{例5：}$令$(X,Y)$是一对随机变量，其联合pdf为

$$f(x,y)= \begin{cases} e^{-y}&0<x<y<\infty\\ 0&elsewhere \end{cases}$$

$(X,Y)$的mgf为

$$\begin{align*} M(t_1,t_2) &=\int_0^{\infty}\int_x^{\infty}\exp(t_1x+t_2y-y)dydx\\ &=\frac{1}{(1-t_1-t_2)(1-t_2)} \end{align*}$$

假设$t_1+t_2<1,t_2<1$。因为$M(t_1,t_2)\neq M(t_1,0)M(0,t_2)$，所以随机变量不是独立的。