漫步数理统计十六——变换

$(X_1,X_2)$是随机向量，假设我们知道$(X_1,X_2)$的联合分布而我们想求$(X_1,X_2)$变换的分布，假设为$Y=g(X_1,X_2)$，我们通过得到$Y$的cdf即可去除。还有种方式是使用变换，考虑前面讲过的变换理论，本篇文章将其扩展到随机向量。最好的方式是分开讨论离散与连续的情况，我们首先讨论离散情况。

令$p_{X_1,X_2}(x_1,x_2)$是两个离散随机变量$X_1,X_2$的联合pmf，$p_{X_1,X_2}>0$的点集为$\textbf{S}$，即$\textbf{S}$是$(X_1,X_2)$的支撑。令$y=u_1(x_1,x_2),y_2=u_2(x_1,x_2)$表示$\textbf{S}$到$\textbf{T}$的一对一变换，两个新随机变量$Y_1=u_1(X_1，X_2),Y_2=u_2(X_1,X_2)$为

$$p_{Y_1,Y_2}(y_1,y_2)= \begin{cases} p_{X_1,X_2}[w_1(y_1,y_2),w_2(y_1,y_2)]&(y_1,y_2)\in\textbf{T}\\ 0&elsewhere \end{cases}$$

其中$x_1=w_1(y_1,y_2),x_2=w_2(y_1,y_2)$是$y_1=u_1(x_1,x_2),y_2=u_2(x_1,x_2)$的单值逆，根据$p_{Y_1,Y_2}(y_1,y_2)$的联合pmf，我们通过对$y_2$求和得到$Y_1$的边缘pmf 或者对$y_1$求和得到$Y_2$的边缘pmf。

在变换变换方法中，需要强调的是我们需要两个新变量代替两个旧变量，下面给出实例。

$\textbf{例1：}$$X_1,X_2$的联合pmf为

$$p_{X_1,X_2}(x_1,x_2)=\frac{\mu_1^{x_1}\mu_2^{x_2}e^{-\mu_1}e^{-\mu_2}}{x_1!x_2!},x_1=0,1,2,3,\ldots,x_2=0,1,2,3,\ldots$$

其他地方为零，其中$\mu_1,\mu_2$是确定的正实数，因此空间$\textbf{S}$是点$(x_1,x_2)$的集合，其中$x_1,x_2$均是非负实数，我们希望求出$y_1=X_1+X_2$的pmf。如果我们使用变量代换，那么我们需要定义第二个随机变量$Y_2$，因为我们对$Y_2$不感兴趣，所以我们选择一种简单的一对一变换，例如取$Y_2=X_2$，那么$y_1=x_1+x_2，y_2=x_2$表示将空间$\textbf{S}$映射到

$$\textbf{T}=\{y_1,y_2:y_2=0,1,\ldots,y_1\ y_1=0,1,2,\ldots\}$$

的一对一变换。注意，如果$(y_1,y_2)\in\textbf{T}$，那么$0\leq y_2\leq y_1$，逆函数为$x_1=y_1-y_2,x_2=y_2$，所以$Y_1,Y_2$的联合pmf为

$$p_{Y_1,Y_2}(y_1,y_2)=\frac{\mu_1^{y_1-y_2}\mu_2^{y_2}e^{-\mu_1-\mu_2}}{(y_1-y_2)!y_2!},(y_1,y_2)\in\textbf{T}$$

其他地方为零。因此$Y_1$的边缘pmf为

$$\begin{align*} p_{Y_1}(y_1) &=\sum_{y_2=0}^{y_1}p_{Y_1,Y_2}(y_1,y_2)\\ &=\frac{e^{-\mu_1-\mu_2}}{y_1!}\sum_{y_2=0}^{y_1}\frac{y_1!}{(y_1-y_2)!y_2!}\mu_1^{y_1-y_2}\mu_2^{y_2}\\ &=\frac{(\mu_1+\mu_2)^{y_1}e^{-\mu_1-\mu_2}}{y_1!},y=0,1,2,\ldots \end{align*}$$

其他地方为零。

对于连续情况，我们从实例开始讲解，

$\textbf{例2：}$考虑从单位正方形$\textbf{S}=\{(x,y):0<x<1,0<y<1\}$中随机选择点$(X,Y)$，假设我们感兴趣的既不在$X$中也不是$Y$中，而是在$Z=X+Y$中，因为是随机的，所以在单位正方形上的概率分布可以看成是均匀的，那么$X,Y$的pdf可以写成

$$f_{X,Y}(x,y)= \begin{cases} 1&0<x<1,0<y<1\\ 0&elsewhere \end{cases}$$

它描述了概率模型。接下里$Z$的cdf表示成$F_{Z}=P(X+Y\leq z)$，那么

$$F_{Z}(z)= \begin{cases} 0&z<0\\ \int_)^z\int_0^{z-x}dydx=\frac{z^2}{2}&0\leq z<1\\ 1-\int_{z-1}^1\int_{z-x}^1dydx=1-\frac{(2-z)^2}{2}&1\leq z<2\\ 1&2\leq z \end{cases}$$

因为对于所有的$z$值$F_Z^{'}$存在，所以$Z$的pmf可以写成

$$f_Z(z)= \begin{cases} z&0<z<1\\ 2-z&1\leq z<2\\ 0&elsewhere \end{cases}$$

现在我们讨论连续情况的一般变换方法，$(X_1,X_2)$有联合连续分布，其pdf为$f_{X_1,X_2}(x_1,x_2)$，支撑集为$\textbf{S}$。假设随机变量$Y_1,Y_2$为$Y_1=u_1(X_1,X_2),Y_2=u_2(X_1,X_2)$，其中函数$y_1=u_1(x_1,x_2),y_2=u_2(x_1,x_2)$定义了从集合$\textbf{S}$到$\textbf{T}$上的一对一变换，其中$\textbf{T}$是$(Y_1,Y_2)$的支撑。如果我们用$y_1,y_2$ 来表示$x_1,x_2$，那么我们可以写成$x_1=w_1(y_1,y_2),x_2=w_2(y_1,y_2)$，行列式

$$J= \begin{vmatrix} \frac{\partial x_1}{\partial y_1}&\frac{\partial x_1}{\partial y_2}\\ \frac{\partial x_2}{\partial y_1}&\frac{\partial x_2}{\partial y_2} \end{vmatrix}$$

称为变换的雅克比，用符号$J$表示，假设这些一阶偏导是连续的并且雅克比$J$ 不等于$\textbf{T}$中的零。

利用分析中的定理，我们能找出$(Y_1,Y_2)$的联合pdf，令$A$是$\textbf{S}$ 的子集，$B$表示一对一变换$A$的映射(如图1)

图1

因为变换是一对一的，所以事件$\{(X_1,X_2)\in A\},\{(Y_1,Y_2)\in B\}$是等价的，故

$$\begin{align*} P[(Y_1,Y_2)\in B] &=P[(X_1,X_2)\in A]\\ &=\int\int_{A}f_{X_1,X_2}(x_1,x_2)dx_1dx_2 \end{align*}$$

我们想用$y_1=u_1(x_1,x_2),y_2=u_2(x_1,x_2)$或者$x_1=w_1(y_1,y_2),x_2=w_2(y_1,y_2)$替换积分变量，那么根据分析中的知识可得

$$\int\int_{A}=f_{X_1,X_2}(x_1,x_2)dx_1dx_2=\int\int_{B}f_{X_1,X_2}[w_1(y_1,y_2),w_2(y_1,y_2)]|J|dy_1dy_2$$

因此，对于$\textbf{T}$中的每个集合$B$

$$P[(Y_1,Y_2)\in B]=\int\int_{B}f_{X_1,X_2}[w_1(y_1,y_2),w_2(y_1,y_2)]|J|dy_1dy_2$$

这表明$Y_1,Y_2$的联合pdf$f_{Y_1,Y_2}(y_1,y_2)$为

$$f_{Y_1,Y_2}(y_1,y_2)= \begin{cases} f_{X_1,X_2}[w_1(y_1,y_2),w_2(y_1,y_2)]&(y_1,y_2)\in\textbf{T}\\ 0&elsewhere \end{cases}$$

$Y_1$的边缘pdf$f_{Y_1}(y_1)$可以通过在$y_2$上积分联合pdf$f_{Y_1,Y_2}(y_1,y_2)$得到，下面给出一些例子。

$\textbf{例3：}$假设$(X_1,X_2)$有联合pdf

$$f_{X_1,X_2}(x_1,x_2)= \begin{cases} 1&0<x_1<1,0<x_2<1\\ 0&elsewhere \end{cases}$$

那么$(X_1,X_2)$的支撑是集合$\textbf{S}=\{(x_1,x_2):0<x_1<1,0<x_2<1\}$，如图2所示。

假设$Y_1=X_1+X_2,Y_2=X_1-X_2$，变换为

$$\begin{align*} &y_1=u_1(x_1,x_2)=x_1+x_2\\ &y_2=u_2(x_1,x_2)=x_1-x_2 \end{align*}$$

这个变换是一对一的，我们首先确定$y_1y_2$平面中的集合$\textbf{T}$，也就是该变换下$\textbf{S}$的映射，那么

$$\begin{align*} &x_1=w_1(y_1,y_2)=\frac{1}{2}(y_1+y_2)\\ &x_2=w_2(y_1,y_2)=\frac{1}{2}(y_1-y_2) \end{align*}$$

为了确定$\textbf{S}$在$y_1y_2$平面上对应的$\textbf{T}$，注意$\textbf{S}$的边界被变换成如下$\textbf{T}$的边界：

$$\begin{align*} &x_1=0\ into\ 0=\frac{1}{2}(y_1+y_2),\\ &x_1=1\ into\ 1=\frac{1}{2}(y_1+y_2),\\ &x_2=0\ into\ 0=\frac{1}{2}(y_1-y_2),\\ &x_2=1\ into\ 1=\frac{1}{2}(y_1-y_2). \end{align*}$$


图2

因此$\textbf{T}$如图3所示，接下来雅克比为

$$J= \begin{vmatrix} \frac{\partial x_1}{\partial y_1}&\frac{\partial x_1}{\partial y_2}\\ \frac{\partial x_2}{\partial y_1}&\frac{\partial x_2}{\partial y_2} \end{vmatrix}= \begin{vmatrix} \frac{1}{2}&\frac{1}{2}\\ \frac{1}{2}&-\frac{1}{2} \end{vmatrix} =-\frac{1}{2}$$

虽然建议变换$\textbf{S}$的边界，但是许多人直接使用不等式

$$0<x_1<1,\quad 0<x_2<1$$

那么四个不等式变成

$$0<\frac{1}{2}(y_1+y_2)<1,\quad 0<\frac{1}{2}(y_1-y_2)<1$$

很容易看出这些等价于

$$-y_1<y_2,\ y_2<2-y_1,\ y_2<y_1,\ y_1-2<y_2$$

他们定义了集合$\textbf{T}$。

图3

因此$(Y_1,Y_2)$的联合pdf为

$$f_{Y_1,Y_2}(y_1,y_2)= \begin{cases} f_{X_1,X_2}[\frac{1}{2}(y_1+y_2),\frac{1}{2}(y_1-y_2)]|J|=\frac{1}{2}&(y_1,y_2)\in\textbf{T}\\ 0&elsewhere \end{cases}$$

$Y_1$的边缘pdf为

$$f_{Y_1}(y_1)=\int_{-\infty}^{\infty}f_{Y_1,Y_2}(y_1,y_2)dy_2$$

如果参考图3，可以看出

$$f_{Y_1}(y_1)= \begin{cases} \int_{-y_1}^{y_1}\frac{1}{2}dy_2=y_1&0<y_1\leq 1\\ \int_{y_1-2}^{2-y_1}\frac{1}{2}dy_2=2-y_1&1<y_1<2\\ 0&elsewhere \end{cases}$$

同样的，我们可以得出$f_{Y_2}(y_2)$的边缘pdf为

$$f_{Y_2}(y_2)= \begin{cases} \int_{-y_2}^{y_2+2}\frac{1}{2}dy_1=y_2+1&-1<y_2\leq 0\\ \int_{y_2}^{2-y_2}\frac{1}{2}dy_1=1-y_2&0<y_2<1\\ 0&elsewhere \end{cases}$$

$\textbf{例4：}$令$Y-1=\frac{1}{2}(X_1-X_2)$，其中$X_1,X_2$有联合pdf，

$$f_{X_1,X_2}(x_1,x_2)= \begin{cases} \frac{1}{4}\exp(-\frac{x_1+x_2}{2})&0<x_1<\infty,0<x_2<\infty\\ 0&elsewhere \end{cases}$$

令$Y_2=X_2$使得$y_1=\frac{1}{2}(x_1-x_2),y_2=x_2$或者等价的$x_1=2y_1+y_2,x_2=y_2$定义了从$\textbf{S}=\{(x_1,x_2):0<x_1<\infty,0<x_2<\infty\}$ 到$\textbf{T}=\{(y_1,y_2):-2y_1<y_2,0<y_2,-\infty<y_1<\infty\}$ 的一对一变换，该变换的雅克比为

$$J= \begin{vmatrix} 2&1\\ 0&1 \end{vmatrix} =2$$

因此$Y_1,Y_2$的联合pdf为

$$f_{Y_1,Y_2}(y_1,y_2)= \begin{cases} \frac{|2|}{4}e^{-y_1-y_2}&(y_1,y_2)\in\textbf{T}\\ 0&elsewhere \end{cases}$$

因此$Y_1$的pdf为

$$f_{Y_1}(y_1)= \begin{cases} \int_{-2y_1}^{\infty}\frac{1}{2}e^{-y_1-y_2}dy_2=\frac{1}{2}e^{y_1}&-\infty<y_1<0\\ \int_{0}^{\infty}\frac{1}{2}e^{-y_1-y_2}dy_2=\frac{1}{2}e^{-y_1}&0\leq y_1<\infty \end{cases}$$

或者

$$f_{Y_1}(y_1)=\frac{1}{2}e^{-|y_1|},-\infty<y_1<\infty$$

这个pdf称为双指数或拉普拉斯pdf。

$\textbf{例5：}$$X_1,X_2$有联合pdf

$$f_{X_1,X_2}(x_1,x_2)= \begin{cases} 10x_1x_2^2&0<x_1<x_2<1\\ 0&elsewhere \end{cases}$$

假设$Y_1=X_1/X_2,Y_2=X_2$，那么逆变换是$x_1=y_1y_2,x_2=y_2$，其雅克比为

$$J= \begin{vmatrix} y_2&y_1\\ 0&1 \end{vmatrix} =y_2$$

定义在$(X_1,X_2)$支撑$\textbf{S}$上的不等式变为

$$0<y_1y_2,y_1y_2<y_2,y_2<1$$

这些不等式等价于定义在$(Y_1,Y_2)$支撑集$\textbf{T}$上的

$$0<y_1<1,0<y_2<1$$

因此$(Y_1,Y_2)$的联合pdf为

$$f_{Y_1,Y_2}(y_1,y_2)=10y_1y_2y_2^2|y_2|=10y_1y_2^4,(y_1,y_2)\in\textbf{T}$$

边缘pdf为：

$$f_{y_1}(y_1)=\int_0^110y_1y_2^4dy_2=2y_1,\ 0<y_1<1$$

其余地方为零，

$$f_{y_2}(y_2)=\int_0^110y_1y_2^4dy_1=5y_2^4,\ 0<y_2<1$$

其余地方为零。

除了用变量变换与cdf来求随机变量函数的分布外，还有一种方法叫矩生成函数，特别适合随机变量的线性函数。前篇文章讲过，如果$Y=g(X_1,X_2)$，那么如果$E(Y)$存在的话，对于连续情况它等于

$$E(Y)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x_1,x_2)f_{X_1,X_2}(x_1,x_2)dx_1dx_2$$

离散情况只需将积分符号替换成求和即可。当然函数$g(X_1,X_2)$可以是$\exp\{tu(X_1,X_2)\}$，这样的话我们就找出了函数$Z=u(X_1,X_2)$的mgf，如果我们将这个mgf看成某个分布，那么$Z$就满足此分布。接下来给出俩个例子说明这个方法。

$\textbf{例6：}$$X_1,X_2$的联合pmf为

$$p_{X_1,X_2}(x_1,x_2)= \begin{cases} \frac{\mu_1^{x_1}\mu_2^{x_2}e^{-\mu_1}e^{-\mu_2}}{x_1!x_2!}&x_1=0,1,2,3,\ldots,x_2=0,1,2,3,\ldots\\ 0&elsewhere \end{cases}$$

其中$\mu_1,\mu_2$是固定的正实数，令$Y=X_1+X_2$，考虑

$$\begin{align*} E(e^{tY}) &=\sum_{x_1=0}^{\infty}\sum_{x_2=0}^{\infty}e^{t(x_1+x_2)}p_{X_1,X_2}(x_1,x_2)\\ &=\sum_{x_1=0}^{\infty}e^{tx_1}\frac{\mu_1^{x_1}e^{-\mu_1}}{x_1!}\sum_{x_2=0}^{\infty}e^{tx_2}\frac{\mu_2^{x_2}e^{-\mu_2}}{x_2!}\\ &=\left[e^{-\mu_1}\sum_{x_1=0}^{\infty}\frac{(e^t\mu_1)^{x_1}}{x_1!}\right]\left[e^{-\mu_2}\sum_{x_2=0}^{\infty}\frac{(e^t\mu_2)^{x_2}}{x_2!}\right]\\ &=[e^{\mu_1(e^t-1)}][e^{\mu_2(e^t-1)}]\\ &=e^{(\mu_1+\mu_2)(e^t-1)} \end{align*}$$

注意倒数第二行中括号中的分别是$X_1,X_2$的mgf，因此$Y$ 的mgf与$X_1$的是相同的，除了$\mu_1$用$\mu_1+\mu_2$代替外。故根据mgf的唯一性，$Y$的pmf一定是

$$p_Y(y)=e^{-(\mu_1+\mu_2)}\frac{(\mu_1+\mu_2)^y}{y!},\ y=0,1,2,\ldots$$

$\textbf{例7：}$$X_1,X_2$的联合pdf为

$$f_{X_1,X_2}(x_1,x_2)= \begin{cases} \frac{1}{4}\exp(-\frac{x_1+x_2}{2})&0<x_1<\infty,0<x_2<\infty\\ 0&elsewhere \end{cases}$$

所以$Y=(1/2)(X_1-X_2)$的mgf为

$$\begin{align*} E(e^{tY}) &=\int_0^{\infty}\int_0^{\infty}e^{t(x_1-x_2)/2}\frac{1}{4}e^{-(x_1+x_2)/2}dx_1dx_2\\ &=\left[\int_0^{\infty}\frac{1}{2}e^{-x_1(1-t)/2dx_1}\right]\left[\int_0^{\infty}\frac{1}{2}e^{-x_2(1+t)/2}dx_2\right]\\ &=\left[\frac{1}{1-t}\right]\left[\frac{1}{1+t}\right]=\frac{1}{1-t^2} \end{align*}$$

假设$1-t>0,1+t>0$；即$-1<t<1$，然而双指数分布的mgf为

$$\begin{align*} \int_{-\infty}^{\infty}e^{tx}\frac{e^{-|x|}}{2}dx &=\int_{-\infty}^0\frac{e^{(1+t)x}}{2}dx+\int_{0}^{\infty}\frac{e^{(t-1)x}}{2}dx\\ &=\frac{1}{2(1+t)}+\frac{1}{2(1-t)}=\frac{1}{1-t^2} \end{align*}$$

假设$-1<t<1$，因此根据mgf的唯一性，满足双指数分布。