漫步数理统计二十——多元随机变量

两个随机变量的概念立即可以扩展到$n$个随机变量，下面就是$n$个随机变量空间的定义。

$\textbf{定义1：}$考虑一个随机试验，其样本空间为$\textbf{C}$，随机变量$X_i$给每个元素$c\in\textbf{C}$只分配一个值$X_i(c)=x_i,i=1,2,\ldots,n$，我们说$(X_1,\ldots,X_n)$ 是一个$n$维随机向量，这个随机向量的空间就是有序$n$元$\textbf{D}=\{(x_1,x_2,\ldots,x_n):x_1=X_1(c),\ldots,x_n=X_n(c),c\in\textbf{C}\}$ 的集合。进一步，令$A$是空间$\textbf{D}$的子集，则$P[(X_1,\ldots,X_n)\in A]=P(C)$，其中$C=\{c:c\in\textbf{C},(X_1(c),X_2(c),\ldots,X_n(c))\in A\}$。

本篇文章我们将使用向量符号。例如我们用$n$维列向量$\textbf{X}$表示$(X_1,\ldots,X_n)^\prime$，$\textbf{x}$表示随机变量的观测值$(x_1,\ldots,x_n)^\prime$，联合cdf定义为

$$F_{\textbf{X}}(\textbf{x})=P[X_1\leq x_1,\ldots,X_n\leq x_n]$$

$n$个随机变量$X_1,X_2,\ldots,X_n$是离散型或者连续性，其联合cdf为

$$F_{\textbf{X}}(\textbf{x})=\sum_{w_1\leq x_1,\ldots,w_n\leq x_n}\sum p(w_1,\ldots,w_n)$$

或者

$$F_{\textbf{X}}(\textbf{x})=\int_{w_1\leq x_1,\ldots,w_n\leq x_n}\int f(w_1,\ldots,w_n)dw_1\cdots dw_n$$

对于连续情况

$$\frac{\partial^n}{\partial x_1\cdots\partial x_n}F_{\textbf{X}}(\textbf{x})=f(\textbf{x})$$

同样的扩展联合pdf的定义，可以看出如果$(a)$函数$f$有定义且其参数的所有值均为正，$(b)$其在参数上所有值的积分为1，那么该函数基本满足成为pdf的条件。同样的如果$(a)$ 函数$p$有定义且其参数上所有值均为正，$(b)$其在参数上所有值的求和为1，那么该函数基本满足成为pmf的条件。与之前的文章一样，有时为了方便我们说随机向量的支撑集，对于离散情况，就是在$\textbf{D}$中的所有点均有正的质量，而对于连续情况，就是$\textbf{D}$中所有点都能嵌入到正概率的开集中，我们将用$\textbf{S}$表示支撑集。

$\textbf{例1：}$令

$$f(x,y,z)= \begin{cases} e^{-(x+y+z)}&0<x,y,z<\infty\\ 0&elsewhere \end{cases}$$

是
随机变量$X,Y,Z$的pdf，那么$X,Y,Z$的分布函数为

$$\begin{align*} F(x,y,z) &=P(X\leq x,Y\leq y,Z\leq z)\\ &=\int_0^z\int_0^y\int_0^xe^{-u-v-w}dudvdw\\ &=(1-e^{-x})(1-e^{-y})(1-e^{-z}),\quad 0\leq x,y,z\leq\infty \end{align*}$$

其他地方等于零。

令$(X_1,X_2,\ldots,X_n)$是随机向量，对某个函数$u$使得$Y=u(X_1,X_2,\ldots,X_n)$，与二元变量一样，对连续型，如果$n$重积分

$$\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}|u(x_1,x_2,\ldots,x_n)|f(x_1,x_2,\ldots,x_n)dx_1dx_2\cdots dx_n$$

存在，那么随机变量的期望存在。对离散型，如果$n$重和

$$\sum_{x_n}\cdots\sum_{x_1}|u(x_1,x_2,\ldots,x_n)|f(x_1,x_2,\ldots,x_n)$$

存在，那么随机变量的期望存在。如果$Y$的期望值存在，那么对连续型，其等于

$$E(Y)=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}u(x_1,x_2,\ldots,x_n)f(x_1,x_2,\ldots,x_n)dx_1dx_2\cdots dx_n$$

对离散型，其等于

$$E(Y)=\sum_{x_n}\cdots\sum_{x_1}|u(x_1,x_2,\ldots,x_n)|f(x_1,x_2,\ldots,x_n)$$

前面讨论的期望值性质对$n$维情况也成立。特别地，$E$是一个线性运算，即如果$Y_j=u_j(X_1,\ldots,X_n),j=1,\ldots,m$且每个$E(Y_i)$存在，那么

$$E\left[\sum_{j=1}^mk_jY_j\right]=\sum_{j=1}^nk_jE[Y_j]$$

其中$k_1,\ldots,k_m$是常数。

接下来我们讨论$n$个随机变量的边缘与条件概率密度函数的概念，之前所有的定义可以直接推广到$n$个变量的情况。令随机变量$X_1,X_2,\ldots,X_n$是连续型的，且联合pdf为$f(x_1,x_2,\ldots,x_n)$，与两个变量的情况类似，对任意$b$我们有

$$F_{X_1}(b)=P(X_1<b)=\int_{-\infty}^bf_1(x_1)dx_1$$

其中$f_1(x_1)$为$n-1$元积分

$$f_1(x_1)=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}f(x_1,x_2,\ldots,x_n)dx_2\cdots dx_n$$

因此$f_1(x_1)$是随机变量$X_1$的pdf，$f_1(x_1)$称为$X_1$的边缘pdf，$X_2,\ldots,X_n$的边缘概率密度函数$f_2(x_2),\ldots,f_n(x_n)$分别为相似的$n-1$元积分。

目前为止，每个边缘pdf有一个单随机变量的pdf，这就很方便将其扩展到联合概率密度函数。令$f(x_1,x_2,\ldots,x_n)$ 是$n$个随机变量$X_1,X_2,\ldots,X_n$的联合pdf，但是我们接下来考虑$k<n$个随机变量的联合pdf，例如取$n=6,k=3$，我们选择$X_2,X_4,X_5$，那么$X_2,X_4,X_5$的边缘pdf就是他们的联合pdf，即

$$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(x_1,x_2,x_3,x_4,x_5,x_6)dx_1dx_3dx_6$$

这里假设随机变量是连续型的。

接下里我们扩展条件pdf的定义，假设$f_1(x_1)>0$，那么我们用关系

$$f_{2,\ldots,n|1}(x_2,\ldots,x_n|x_1)=\frac{f(x_1,x_2,\ldots,x_n)}{f_1(x_1)}$$

定义符号$f_{2\ldots,x_n|x_1}$。$f_{2\ldots,x_n|x_1}$称为给定$X_1=x_1,X_2,\ldots,X_n$的联合条件pdf，任何$n-1$ 个随机变量的联合条件pdf，假设为给定$X_i=x_i$，$X_1$，$\ldots$，$X_{i-1}$，$X_{i+1}$，$\ldots$,$X_n$，定义为$X_1,\ldots,X_n$的联合pdf除以$f_i(x_i)$的边缘pdf，其中$f_i(x_i)>0$。更一般的，给定$k$个随机变量，$n-k$个随机变量的联合边缘pdf定义为$n$个变量的联合pdf除以$k$个变量的边缘pdf，假设后者的pdf为正。

因为条件pdf是某些随机变量的pdf，所以这些随机变量的函数期望值有定义。例如考虑连续情况，给定$X_1=x_1,u(X_2,\ldots,X_n)$的条件期望为

$$E[u(X_2,\ldots,X_n)|x_1]=\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}u(x_2,\ldots,x_n)f_{2,\ldots,n|1}(x_2,\ldots,x_n|x_1)dx_2\cdots dx_n$$

假设$f_1(x_1)>0$且积分收敛(绝对)。一个有用的随机变量为$h(X_1)=E[u(X_2,\ldots,X_n)|X_1]$。

上面讨论的边缘与条件分布同样可以推广到离散的情况，只需要将求和符号代替积分符号即可。

令随机变量$X_1,X_2,\ldots,X_n$的联合pdf为$f(x_1,x_2,\ldots,x_n)$，边缘概率密度函数分别为$f_1(x_1),f_2(x_2),\ldots,f_n(x_n)$。$X_1,X_2$独立的定义也可以推广到$X_1,X_2,\ldots,X_n$的情况：对于连续型，随机变量$X_1,X_2,\ldots,X_n$是互相独立的，当且仅当

$$f(x_1,x_2,\ldots,x_n)\equiv f_1(x_1)f_2(x_2)\cdots f_n(x_n)$$

对于离散型，当且仅当

$$p(x_1,x_2,\ldots,x_n)\equiv p_1(x_1)p_2(x_2)\cdots p_n(x_n)$$

假设$X_1,X_2,\ldots,X_n$是互相独立的，那么

$$\begin{align*} &P(a_1<X_1<b_1,a_2<X_2<b_2,\ldots,a_n<X_n<b_n)\\ &=P(a_1<X_1<b_1)P(a_2<X_2<b_2)\cdots P(a_n<X_n<b_n)\\ &=\prod_{i=1}^nP(a_i<X_i<b_i) \end{align*}$$

其中符号$\prod_{i=1}^n\varphi(i)$定义为

$$\prod_{i=1}^n\varphi(i)=\varphi(1)\varphi(2)\cdots\varphi(n)$$

对于独立随机变量$X_1,X_2$的$E[u(X_1)v(X_2)]=E[u(X_1)E[v(X_2)]$相对互相独立的随机变量$X_1,X_2,\ldots,_n$就变成

$$E[u_1(X_1)u_2(X_2)\cdots u_n(X_n)]=E[u_1(X_1)]E[u2(X_2)]\cdots E[u_n(X_n)]$$

或者

$$E\left[\prod_{i=1}^nu_i(X_i)\right]=\prod_{i=1}^nE[u_i(X_i)]$$

$n$个随机变量$X_1,X_2,\ldots,X_n$联合分布的矩生成函数定义如下，对$-h_i<t_i<h_i,i=1,2,\ldots$，其中$h_i$是正的，

$$E[\exp(t_1X_1+t_2X_2+\cdots+t_nX_n)]$$

存在，其期望用$M(t_1,t_2,\ldots,t_n)$表示并称为$X_1,\ldots,X_n$联合分布的mgf(或者简单称为$X_1,\ldots,X_n$的mgf)。与单个或两个变量一样，它的mgf 是唯一的且唯一决定$n$个变量的联合分布(因此对所有的边缘分布也如此)。例如$X_i$的边缘分布mgf为$M(0,\ldots,0,t_i,0,\ldots,0),i=1,2,\ldots,n$；$X_i,X_j$的边缘分布mgf为$M(0,\ldots,0,t_i,0,\ldots,0,t_j,0,\ldots,0)$；等等。上篇文章的定理5可以进行推广，因式分解

$$M(t_1,t_2,\ldots,t_n)=\prod_{i=1}^nM(0,\ldots,0,t_i,0,\ldots,0)$$

是$X_1,X_2,\ldots,X_n$互相独立的充分必要条件，注意我们可以用向量符号量联合mgf写成

$$M(\textbf{t})=E[\exp(\textbf{t}^\prime\textbf{X})],\quad \textbf{t}\in B\subset R^n$$

其中$B=\{\textbf{t}:-h_i<t_i<h_i,i=1,\ldots,n\}$。

$\textbf{例2：}$令$X_1,X_2,X_3$是三个互相独立的随机变量并每个pdf为

$$f(x)= \begin{cases} 2x&0<x<1\\ 0&elsewhere \end{cases}$$

$X_1,X_2,X_3$的联合pdf为$f(x_1)f(x_2)f(x_3)=8x_1x_2x_3,0<x_i<1,i=1,2,3$，其余地方为零。为了说明，$5X_1X_2^3+3X_2X_3^4$的期望为

$$\int_0^1\int_0^1\int_0^1(5x_1x_2^3+3x_2x_3^4)8x_1x_2x_3dx_1dx_2dx_3=2$$

令$Y$是$X_1,X_2,X_3$的最大值，那么我们有

$$\begin{align*} P(Y\leq\frac{1}{2}) &=P(X_1\leq\frac{1}{2},X_2\leq\frac{1}{2},X_3\leq\frac{1}{2})\\ &=\int_0^{1/2}\int_0^{1/2}\int_0^{1/2}8x_1x_2x_3dx_1dx_2dx_3\\ &=\left(\right)^6=\frac{1}{64} \end{align*}$$

利用相同的方式，我们可以计算出$Y$的cdf为

$$G(y)=P(Y\leq y)= \begin{cases} 0&y<0\\ y^6&0\leq y<1\\ 1&1\leq y \end{cases}$$

那么$Y$的pdf为

$$g(y)= \begin{cases} 6y^5&0<y<1\\ 0&elsewhere \end{cases}$$

$\textbf{注1：}$如果$X_1,X_2,X_3$是互相独立的，那么他们是成对独立的(即$i\neq j,X_i,X_j$就独立，其中$i,j=1,2,3$)，然而，下面的例子说明成对独立不一定互相独立。令$X_1,X_2,X_3$的联合pdf为

$$f(x_1,x_2,x_3)= \begin{cases} \frac{1}{4}&(x_1,x_2,x_3)\in\{(1,0,0),(0,1,0),(0,0,1),(1,1,1)\}\\ 0&elsewhere \end{cases}$$

$X_i,X_j,i\neq j$的联合pdf为

$$f_{ij}(x_i,x_j)= \begin{cases} \frac{1}{4}&(x_i,x_j)\in\{(0,0),(1,0),(0,1),(1,1)\}\\ 0&elsewhere \end{cases}$$

其中$X_i$的边缘pmf为

$$f_i(x_i)= \begin{cases} \frac{1}{2}&x_i=0,1\\ 0&elsewhere \end{cases}$$

很明显，如果$i\neq j$，我们有

$$f_{ij}(x_i,x_j)= \begin{cases} \frac{1}{4}&(x_i,x_j)\in\{(0,0),(1,0),(0,1),(1,1)\}\\ 0&elsewhere \end{cases}$$

其中$X_i$的边缘pmf为

$$f_i(x_i)= \begin{cases} \frac{1}{2}&x_i=0,1\\ 0&elsewhere \end{cases}$$

很明显，如果$i\neq j$，我们有

$$f_{ij}(x_i,x_j)\equiv f_i(x_i)f_j(x_j)$$

因此$X_i,X_j$是独立的。然而

$$f(x_1,x_2,x_3)\not\equiv f_1(x_1)f_2(x_2)f_3(x_3$$

所以$X_1,X_2,X_3$不是互相独立的。

除非互相与成对独立会产生误解，我们通常不用修饰语互相。因此当我们说$X_1,X_2,X_3$是独立的随机变量时，指的是他们互相独立。偶尔为了强调，我们会使用互相独立，读者须知道互相与成对独立是有区别的。

另外，如果几个随机变量互相独立且有同样的分布，我们称他们为独立同分布，简写为iid。