漫步数理统计十五——两个随机变量的分布

接下里我们讨论两个随机变量的例子。连续掷三次硬币并考虑有序数对(前两次$H$的个数，三次中$H$的个数)，其中$H,T$ 分别表示正面与反面，那么样本空间是$\textbf{C}=\{c:c=c_i,i=1,2,\ldots,8\}$，其中$c_1$是$TTT$，$c_2$是$TTH$，$c_3$是$THT$，$c_4$是$HTT$，$c_5$是$THH$，$c_6$是$HTH$，$c_7$是$HHT$，$c_8$是$HHH$，令$X_1$，$X_2$是两个函数，使得$X_1(c_1)=X_1(c_2)=0,X_1(c_3)=X_1(c_4)=X_1(c_5)=X_1(c_6)=1,X_1(c_7)=X_1(c_8)=2$ 且$X_2(c_1)=0,X_2(c_2)=X_2(c_3)=X_2(c_4)=1,X_2(c_5)=X_2(c_6)=X_2(c_7)=2,X_2(c_8)=3$
那么$X_1,X_2$是定义在样本空间$\textbf{C}$上的实值函数，从样本空间映射到有序数对空间

$$\textbf{D}=\{(0,0),(0,1),(1,1),(1,2),(2,2),(2,3)\}$$

$X_1,X_2$是定义在样本空间$\textbf{C}$上的两个随机变量，在本例中，这些随机变量的空间是二维集合$\textbf{D}$，它是二维欧几里得空间$R^2$的子集，这里$(X_1,X_2)$是从$\textbf{C}$到$\textbf{D}$的向量，现在我们形式化随机向量的定义。

$\textbf{定义1：}$(随机向量)给定一个样本空间为$\textbf{C}$的随机试验，考虑两个随机变量$X_1,X_2$，对$\textbf{C}$中的每个元素c只分配一个有序数对$X_1(c)=x_1,X_2(c)=x_2$，那么我们称$(X_1,X_2)$是一个随机向量。$(X_1,X_2)$的空间是有序数对$\textbf{D}=\{(x_1,x_2):x_1=X_1(c),x_2=X_2(c),c\in\textbf{C}\}$ 的集合。

我们常用向量符号$\textbf{X}=(X_1,X_2)^{'}$，其中${'}$ 表示行向量$(X_1,X_2)^{'}$的转置。

令$\textbf{D}$是随机向量$(X_1,X_2)$关联的空间，$A$是$\textbf{D}$的一个子集，与随机变量一样我们称为事件$A$，我们想定义事件$A$的概率，用$P_{X_1,X_2}[A]$表示，同样我们用累加分布函数(cdf)来定义$P_{X_1,X_2}$，那么对任意$(x_1,x_2)\in R^2$

$$F_{X_1,X_2}(x_1,x_2)=P[\{X_1\leq x\}\cap\{X_2\leq x_2\}]$$

因为$X_1,X_2$是随机变量，所以上面相加事件中的每个事件都是原始样本空间$\textbf{C}$中的事件，因此上面的表达式是明确的。与随机变量一样，我们可以将$P[\{X_1\leq x_1\}\cap\{X_2\leq x_2\}]$写成$P[X_1\leq x_1,X_2\leq x_2]$，并且

$$\begin{align*} P[a_1<X_1\leq b_1,a_2<X_2\leq b_2] &=F_{X_1,X_2}(b_1,b_2)-F_{X_1,X_2}(a_1,b_2)\\ &-F_{X_1,X_2}(b_1,a_2)+F_{X_1,X_2}(a_1,a_2) \end{align*}$$

因此所有形如$(a_1,b_1]\times(a_2,b_2]$集合的概率可以用cdf的形式表述出来，$R^2$中这种形式的集合生成了$R^2$子集的博莱尔$\sigma$域，cdf唯一地确定一个$R^2$上的概率，我们常称这种cdf为$(X_1,X_2)$的联合累积分布函数。

与随机变量一样，我们主要关系两种类型的随机向量，即离散与连续，首先讨论离散情况。

随机向量$(X_1,X_2)$，如果它的空间$\textbf{D}$是有限的或可数的，那么我们称它是离散随机向量，因此$X_1,X_2$都是离散的，对于所有的$(x_1,x_2)\in\textbf{D}$，$(X_1,X_2)$ 的联合概率质量函数(pmf)定义为

$$p_{X_1,X_2}=P[X_1=x_1,X_2=x_2]$$

与随机变量一样，pmf唯一的确定cdf，它也可以用两个性质表征：

$$(i)0\leq p_{X_1,X_2}(x_1,x_2)\leq 1\quad(ii)\Sigma\Sigma_{\textbf{D}}p_{X_1,X_2}(x_1,x_2)=1$$

对于事件$B\in\textbf{D}$，我们有

$$P[(X_1,X_2)\in B]=\sum\sum_{B}p_{X_1,X_2}(x_1,x_2)$$

$\textbf{例1：}$考虑定义在文章开头实例中的离散随机向量$(X_1,X_2)$，我们可以用下表表示其pmf：

表格横向的$0,1,2,3$表示$X_2$的支撑，纵向$0,1,2$表示$X_1$的支撑。

这样也便于叙述离散随机向量$(X_1,X_2)$的支撑，他们是$(X_1,X_2)$空间中使得$p(x_1,x_2)>0$的所有点$(x_1,x_2)$，上面的例子中支撑是由六个点$\{(0,0),(0,1),(1,1),(1,2),(2,2),(2,3)\}$组成的。

对于空间为$\textbf{D}$的随机向量$(X_1,X_2)$，如果它的cdf$F_{X_1,X_2}(x_1,x_2)$是连续的，那么我们称该随机向量是连续的。在以后的文章中，有cdf的连续随机向量用非负函数的积分表示，即对于所有的$(x_1,x_2)\in R^2,F_{X_1,X_2}(x_1,x_2)$可以表示成

$$F_{X_1,X_2}(x_1,x_2)=\int_{-\infty}^{x_1}\int_{-\infty}^{x_2}f_{X_1,X_2}(w_1,w_2)dw_1dw_2$$

我们称被积部分为$(X_1,X_2)$的联合概率密度函数(pdf)，对于$f_{X_1,X_2}(x_1,x_2)$连续的点，我们有

$$\frac{\partial^2F_{X_1,X_2}(x_1,x_2)}{\partial x_1\partial x_2}=f_{X_1,X_2}(x_1,x_2)$$

pdf基本可有两个性质表征：

$$(i)f_{X_1,X_2}(x_1,x_2)\geq 0\quad (ii)\int\int_{\textbf{D}}f_{X_1,X_2}(x_1,x_2)dx_1dx_2=1$$

对于事件$A\in\textbf{D}$，我们有

$$P[(X_1,X_2)\in A]=\int\int_{A}f_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

注意$P[(X_1,X_2)\in A]$仅仅是集合$A$上曲面$z=f_{X_1,X_2(x_1,x_2)}$下方的体积。

$\textbf{注：}$与单随机变量一样，我们经常省略cdf，pdf与pmf中的下标$(X_1,X_2)$，我们也常用符号$f_{12}$而不是$f_{X_1,X_2}$。除了$(X_1,X_2)$，我们也常用$(X,Y)$表示随机向量。

$\textbf{例2：}$令

$$f(x_1,x_2)= \begin{cases} 6x_1^2x_2&0<x_1<1,0<x_2<1\\ 0&elsewhere \end{cases}$$

是两个连续随机变量$X_1,X_2$的pdf，那么我们有

$$\begin{align*} P(0<X_1<\frac{3}{4},\frac{1}{3}<X_2<2) &=\int_{1/3}^2\int_{0}^{3/4}f(x_1,x_2)dx_1dx_2\\ &=\int_{1/3}^1\int_{0}^{3/4}6x_1^2x_2dx_1dx_2+\int_{1}^2\int_0^{3/4}0dx_1dx_2\\ &=\frac{3}{8}+0=\frac{3}{8} \end{align*}$$

注意这个概率是矩形集合$\{(x_1,x_2):0<x_1<\frac{3}{4},\frac{1}{3}<x_2<1\}\in R^2$上曲面$f(x_1,x_2)=6x_1^2x_2$下的体积。

对于连续随机向量$(X_1,X_2)$，$(X_1,X_2)$的支撑包含所有$f(x_1,x_2)>0$的点，我们用$\textbf{S}$表示随机向量的支撑，与单变量一样$\textbf{S}\subset\textbf{D}$。

对于$R^2$上pdf$f_{X_1,X_2}(x_1,x_2)$的定义，我们通过将其他地方设为零进行扩展，这样的话就可以避免麻烦的$\textbf{D}$，这样的话我们就能将

$$\int\int_{\textbf{D}}f_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

替换为

$$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

离散情况同样如此，可将

$$\sum\sum_{\textbf{D}}p_{X_1,X_2}(x_1,x_2)$$

替换为

$$\sum_{x_2}\sum_{x_1}p_{X_1,X_2}(x_1,x_2)$$

最后如果一个或多个变量的pmf或者pdf已经显示的给定，那么通过观察就能看出随机变量是离散还是连续类型，例如显然

$$p(x,y)= \begin{cases} \frac{9}{4^{x+y}}&x=1,2,3,\ldots,y=1,2,3,\ldots\\ 0&elsewhere \end{cases}$$

是两个离散变量$X,Y$的pmf，而

$$f(x,y)= \begin{cases} 4xye^{-x^2-y^2}&0<x<\infty,0<y<\infty\\ 0&elsewhere \end{cases}$$

显然是两个连续随机变量$X,Y$的pdf。

令$(X_1,X_2)$是随机向量，那么$X_1,X_2$每一个都是随机变量，我们用$(X_1,X_2)$的联合分布形式得到他们的分布，回忆一下定义在$x_1$处$X_1$cdf的事件是$\{X_1\leq x_1\}$，然而

$$\{X_1\leq x_1\}=\{X_1\leq x_1\}\cap\{-\infty<X_2<\infty\}=\{X_1\leq x_1,-\infty<X_2<\infty\}$$

取概率得对于所有的$x_1\in R$

$$F_{X_1}(x_1)=P[X_1\leq x_1,-\infty<X_2<\infty]$$

将上式重写成$F_{X_1}(x_1)=\lim_{x_2\uparrow\infty}F(x_1,x_2)$，由此我们得到cdf之间的关系，根据$(X_1,X_2)$是离散的或连续的，我们可以将其扩展到pmf或者pdf。

首先考虑离散情况，令$\textbf{D}_{X_1}$是$X_1$的支撑，对于$x_1\in\textbf{D}_{X_1}$，上式等价于

$$F_{X_1}(x_1)=\sum_{w_1\leq x_1}\sum_{-\infty<x_2<\infty} p_{X_1,X_2}(w_1,x_2)=\sum_{w_1\leq x_1}\left\{\sum_{x_2<\infty}p_{X_1,X_2(w_1,x_2)}\right\}$$

根据cdf的唯一性，括号中的量肯定是$X_1$在$w_1$处的pmf；即对于所有的$x_1\in\textbf{D}_{X_1}$

$$p_{X_1}(x_1)=\sum_{x_2<\infty}p_{X1,X_2}(x_1,x_2)$$

注意，为了找出$X_1$是$x_1$的概率，保持$x_1$不变然后在所有$x_2$上求和$p_{X_1,X_2}$，如下表所示。表的最后一行是$X_2$的pmf，最后一列是$X_1$的pmf，一般而言，因为这些分布记录在表的边缘，所以我们常称他们为边缘pmf。

$\textbf{例3：}$考虑一个随机试验，从包含10个同样大小球的盒子中随机抽一个球，每个球上标有数字对，一个为$(1,1)$，一个为$(2,1)$，两个为$(3,1)$，一个为$(1,2)$，两个为$(2,2)$，三个为$(3,2)$。令随机变量$X_1,X_2$分别表示有序对的第一个与第二个数，那么$X_1,X_2$的联合pmf$p(x_1,x_2)$如下表所示，其中$p(x_1,x_2)$在其他地方等于零。

每行与每列的联合概率进行相加，这些边缘的和分别给出了$X_1,X_2$的边缘概率密度函数，注意为了求出他们我们没必要知道$p(x_1,x_2)$。

接下来考虑连续情况，令$\textbf{D}_{X_1}$表示$X_1$的支持，对于$x_1\in D_{X_1}$

$$F_{X_1}=\int_{-\infty}^{x_1}\int_{-\infty}^{\infty}f_{X_1,X_2}(w_1,x_2)dx_2dw_1=\int_{-\infty}^{x_1}\left\{\int_{-\infty}^{\infty}f_{X_1,X_2}(w_1,x_2)dx_2\right\}dw_1$$

根据cdf的唯一性，括号中的量一定是$X_1$在$w_1$处的pdf；即对所有$x_1\in\textbf{D_{X_1}}$

$$f_{X_1}(x_1)=\int_{-\infty}^{\infty}f_{X_1,X_2}(x_1,x_2)dx_2$$

因此对于连续情况，$X_1$的pdf通过积分$x_2$得到，同样的$x_2$的pdf可以通过积分$x_1$得到。

$\textbf{例4：}$$X_1,X_2$的联合pdf为

$$f(x_1,x_2)= \begin{cases} x_1+x_2&0<x_1<1,\ 0<x_2<1\\ 0&elsewhere \end{cases}$$

$X_1$的边缘pdf为

$$f_1(x_1)=\int_0^1(x_1+x_2)dx_2=x_1+\frac{1}{2},0<x_1<1$$

其他地方为零，$X_2$的边缘pdf为

$$f_1(x_1)=\int_0^1(x_1+x_2)dx_2=\frac{1}{2}+x_2,0<x_2<1$$

其他地方为零。像$P(X_1\leq\frac{1}{2})$的概率既可以从$f_1(x_1)$也可以从$f(x_1,x_2)$中计算得到，因为

$$\int_0^{1/2}\int_0^1f(x_1,x_2)dx_2dx_1=\int_0^{1/2}f_1(x_1)dx_1=\frac{3}{8}$$

然而为了求出像$P(X_1+X_2\leq 1)$，我们必须用联合pdf$f(x_1,x_2)$，如下所示：

$$\begin{align*} \int_0^1\int_0^{1-x_1}(x_1+x_2)dx_2dx_1 &=\int_0^1\left[x_1(1-x_1)+\frac{(1-x_1)^2}{2}\right]dx_1\\ &=\int_0^1\left(\frac{1}{2}-\frac{1}{2}x_1^2\right)dx_1=\frac{1}{3} \end{align*}$$

这个概率就是集合$\{(x_1,x_2):0<x_1,x_1+x_2\leq 1\}$上曲面$f(x_1,x_2)=x_1+x_2$下的体积。

$(X_1,X_2)$是一个随机向量，$Y=g(X_1,X_2)$是某个实值函数，即$g:R^2\to R$，那么$Y$是一个随机变量且通过$Y$的分布可以确定它的期望。

假设$(X_1,X_2)$是连续类型，那么如果

$$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}|g(x_1,x_2)|f_{X_1,X_2}(x_1,x_2)dx_1dx_2<\infty$$

则$E(Y)$存在，

$$E(Y)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x_1,x_2)f_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

类似的，如果$(X_1,X_2)$是离散的，那么如果

$$\sum_{x_1}\sum_{x_2}|g(x_1,x_2)|p_{X_1,X_2}(x_1,x_2)dx_1dx_2<\infty$$

则$E(Y)$存在，

$$E(Y)=\sum_{x_1}\sum_{x_2}g(x_1,x_2)p_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

现在我们说明$E$是一个线性运算。

$\textbf{定理1：}$令$(X_1,X_2)$是一个随机向量，$Y_1=g_1(X_1,X_2),Y_2=g_2(X_1,X_2)$是随机变量，其期望存在，那么对任意实数$k_1,k_2$

$$E(k_1Y_1+k_2Y_2)=k_1E(Y_1)+k_2E(Y_2)$$

$\textbf{证明：}$我们证明连续情况。$k_1Y_1+k_2Y_2$期望值的存在性直接从三角不等式以及积分的线性可以求出，即

$$\begin{align*} &\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}|k_1g_1(x_1,x_2)+k_2g_1(x_1,x_2)|f_{X_1,X_2}(x_1,x_2)dx_1dx_2\leq\\ &|k_1|\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}|g_1(x_1,x_2)|f_{X_1,X_2}(x_1,x_2)dx_1dx_2\\ &+|k_2|\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}|g_2(x_1,x_2)|f_{X_1,X_2}(x_1,x_2)dx_1dx_2<\infty \end{align*}$$

利用积分的线性可得

$$\begin{align*} E(k_1Y_1+k_2Y_2) &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}[k_1g_1(x_1,x_2)+k_2g_2(x_1,x_2)]f_{X_1,X_2}(x_1,x_2)dx_1dx_2\\ &=k_1\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g_1(x_1,x_2)f_{X_1,X_2}(x_1,x_2)dx_1dx_2\\ &+k_2\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g_2(x_1,x_2)f_{X_1,X_2}(x_1,x_2)dx_1dx_2\\ &=k_1E(Y_1)+k_2E(Y_2) \end{align*}$$

得证。

注意对于$X_2$的任意函数$g(X_2)$的期望可以通过两种方式得到：

$$E(g(X_2))=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x_2)f(x_1,x_2)dx_1dx_2=\int_{-\infty}^{\infty}g(x_2)f_{X_2}(x_2)dx_2$$

最后的式子是通过先积分$x_1$得到的，下面的例子说明了这个想法。

$\textbf{例5：}$$X_1,X_2$的pdf为

$$f(x_1,x_2)= \begin{cases} 8x_1x_2&0<x_1<x_2<1\\ 0&elsewhere \end{cases}$$

那么

$$\begin{align*} E(X_1X_2^2) &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}x_1x_2^2f(x_1,x_2)dx_1dx_2\\ &=\int_0^1\int_)^{x_2}8x_1^2x_2^3dx_1dx_2\\ &=\int_0^1\frac{8}{3}x_2^6dx_2=\frac{8}{21} \end{align*}$$

另外

$$E(X_2)=\int_0^1\int_0^{x_2}x_2(8x_1x_2)dx_1dx_2=\frac{4}{5}$$

因为$X_2$的pdf$f_2(x_2)=4x_2^3,,0<x_2<1$，其他地方为零，后者的期望可以用

$$E(X_2)=\int_0^1x_2(4x_2^3)dx_2=\frac{4}{5}$$

求出，因此

$$\begin{align*} E(7X_1X_2^2+5X_2) &=7E(X_1X_2^2)+5E(X_2)\\ &=(7)(\frac{8}{21})+(5)(\frac{4}{5})=\frac{20}{3} \end{align*}$$

$\textbf{例6：}$继续考虑例5，假设随机变量$Y$定义为$Y=X_1/X_2$，我们有两种方式确定$E(Y)$。第一种方式是用定义，即找到$Y$的分布，然后确定其期望。$Y$的cdf其中$0<y\leq 1$是

$$\begin{align*} F_Y(y) &=P(Y\leq y)=P(X_1\leq yX_2)=\int_0^1\int_0^{yx_2}8x_1x_2dx_1dx_2\\ &=\int_0^14y^2x_2^3dx_2=y^2 \end{align*}$$

因此$Y$的pdf为

$$f_Y(y)=F_Y^{'}(y)= \begin{cases} 2y&0<y<1\\ 0&elsewhere \end{cases}$$

由此得出

$$E(Y)=\int_)^1y(2y)dy=\frac{2}{3}$$

对于第二种方法，我们直接求$E(Y)$

$$\begin{align*} E(Y) &=E\left(\frac{X_1}{X_2}\right)=\int_0^1\left\{\int_0^{x_2}\left(\frac{x_1}{x_2}8x_1x_2dx_1\right)\right\}dx_2\\ &=\int_0^1\frac{8}{3}x_2^3dx_2=\frac{2}{3} \end{align*}$$

接下来我们定义随机向量的矩生成函数。

$\textbf{定义2：}$(随机向量的矩生成函数)令$\textbf{X}=(X_1,X_2)^{'}$是一个随机向量，如果对于$|t_1|<h_1,|t_2|<h_2,E(e^{t_1X_1+t_2X_2})$存在，其中$h_1,h_2$是正的，那么它可以用$M_{X_1,X_2}(t_1,t_2)$表示且成为$\textbf{X}$的矩生成函数(mgf)。

与随机变量一样，如果它存在，那么随机向量的mgf唯一确定随机向量的分布。

令$\textbf{t}=(t_1,t_2)^{'}$，那么我们可以将$\textbf{X}$写成

$$M_{X_1,X_2}(\textbf{t})=E\left[e^{t^{'}\textbf{X}}\right]$$

所以它与随机变量很相似。另外$X_1,X_2$的mgf直接可以从$M_{X_1,X_2}(t_1,0),M_{X_1,X_2}(0,t_2)$得到，在不产生混淆的情况下，我们取消$M$上的下标。

$\textbf{例7：}$连续随机变量$X,Y$的联合pdf为

$$f(x,y)= \begin{cases} e^{-y}&0<x<y<\infty\\ 0&elsewhere \end{cases}$$

这个联合分布的mgf是

$$\begin{align*} M(t_1,t_2) &=\int_{0}^\infty\int_x^\infty e^{t_1x+t_2y-y}dydx\\ &=\frac{1}{(1-t_1-t_2)(1-t_2)} \end{align*}$$

假设$t_1+t_2<1,t_2<1$。进一步，$X,Y$边缘分布的矩生成函数分别是

$$\begin{align*} &M(t_1,0)=\frac{1}{1-t_1},t_1<1\\ &M(0,t_2)=\frac{1}{(1-t_2)^2},t_2<1 \end{align*}$$

这些矩生成函数分别是边缘概率密度函数

$$f_1(x)=\int_x^{\infty}e^{-y}dy=e^{-x},\quad 0<x<\infty$$

其余地方为零，与

$$f_2(x)=e^{-y}\int_0^{y}dx=ye^{-y},\quad 0<y<\infty$$

其余地方为零。

我们也需要定义随机向量自身的期望值，但是这不是一个新的概念，因为它用元素的期望形式进行定义:

$\textbf{定义3：}$(随机向量的期望值)$\textbf{X}=(X_1,X_2)^{'}$是随机向量，那么如果$X_1,X_2$的期望存在，则$\textbf{X}$的期望值存在，期望值为

$$E[\textbf{X}]= \begin{bmatrix} E(X_1)\\ E(X_2) \end{bmatrix}$$