05.第二章 随机变量与分布函数(3)

第二章 随机变量与分布函数(3)

1.多维随机变量与分布函数

多维随机变量也称为随机向量，这个概念很好理解，就是把定义在同一概率空间的两个至多个随机变量联合起来以向量的形式考虑。将随机变量联合起来，主要是考虑它们的相关性问题。与一维随机变量类似，随机向量也有离散型、连续型等，接下来主要考虑二维随机向量$(X,Y)$。

随机变量有分布函数，随机向量一样也有联合分布函数，且定义是类似的：
$$F_{X,Y}(x,y)=P(X\le x,Y\le y).$$
在不引起混淆的情况下，下标可以省略不写。显然有
$$F(\infty ,\infty )=1,F(-\infty ,y)=F(x,-\infty )=F(-\infty ,-\infty )=0.$$
并且对于二维Borel集，取一个矩形$B^2:a_1<x\le b_1,a_2<y\le b_2$，它是一个Borel集，故它所代表的等价事件概率一定有非负性，即
$$P((X,Y)\in B^2)=F(b_1,b_2)-F(a_1,b_2)-F(b_1,a_2)+F(a_1,a_2)\ge 0.$$
所以二维函数除了具有单调不减、右连续、极限性外，还必须满足以上这条性质，才能是一个二维连和分布函数。事实上可以举出满足前三条，但不满足最后一条性质的二维函数。

除此之外，随机向量中的每一个随机变量自己也有自己的分布函数，这在随机向量中叫作边际分布函数。即$F_X(x)=P(X\le x)$与$F_Y(y)=P(Y\le y)$。并且：
$$\begin{gathered} F_X(x)=F(x,\infty ); \\ {F}_Y(y)=F(\infty ,y). \end{gathered}$$
从直观上理解，要求$x$的边际分布函数，就是不限$y$的取值，也就是$y\le \infty$，所以在联合分布中$y$的位置取$\infty$；同理要求$y$的边际分布函数，就是不限$x$的取值，也就是$x\le \infty$，所以在联合分布中$x$的位置取$\infty$。这是两个比较重要的公式，尤其是对接下来要说到的连续随机向量而言。

需要注意，给定联合分布以后两个随机变量的边际分布也随之确定，但给定两个随机变量的边际分布却不能反推联合分布，因为边际分布中不含两个随机变量相关性的信息。

2.离散随机向量

如果$(X,Y)$中，$X,Y$都是离散型的，那么由三角形法，$(X,Y)$的可能取值也一定是可列的，也就是说对于每一个$X=x_i,Y=y_i$，都可以用一个概率$p_{ij}$描述$P(X=x_i,Y=y_j)$。这样的$(X,Y)$称为离散型随机向量，它的分布可以用二维表刻画，即：

	$y_1$	$y_2$	$\cdots$	$y_j$	$\cdots$
$x_1$	$p_{11}$	$p_{12}$	$\cdots$	$p_{1j}$	$\cdots$
$x_2$	$p_{21}$	$p_{22}$	$\cdots$	$p_{2j}$	$\cdots$
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$
$x_i$	$p_{i1}$	$p_{i2}$	$\cdots$	$p_{ij}$	$\cdots$
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$

对于离散随机向量，由于每一个随机变量都是离散的，其边际分布也可以用边际分布列来刻画，由全概率公式，有
$$\begin{array}{rl}& P(X=x_i)\\ =& \sum _{j=1}^{\infty }P(X=x_i|Y=y_j)P(Y=y_j)\\ =& \sum _{j=1}^{\infty }P(X=x_i,Y=y_j)\\ =& \sum _{j=1}^{\infty }{p}_{ij}\stackrel{\Delta }{=}{p}_{i\cdot }.\end{array}$$
这里$p_{i\cdot }$定义为将第$i$行的所有$p_{ij}$相加。对$Y$求边际分布列也是如此。也就是说，离散随机向量的边际分布为按行、列相加的和。

3.连续型随机向量

类似于一维连续随机变量的定义，如果存在一个非负可积函数$p_{X,Y}(x,y)$，使得
$$F_{X,Y}(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^y{p}_{X,Y}(s,t)dtds,$$
则称随机向量$(X,Y)$是连续的，在不引起混淆的前提下可以省略下标。显然有${\int }_{\mathbb{R}}{\int }_{\mathbb{R}}p(s,t)dtds=1$。对于二维Borel集$B$，$P((X,Y)\in B)=\underset{(x,y)\in B}{\iint }p(s,t)dtds$。

对于连续随机向量$(X,Y)$，里面的每一个分量也是连续随机变量。要求连续随机变量的边际分布，也可以用边际密度来刻画。因为
$$F_X(x)=F(x,\infty )={\int }_{-\infty }^x\left[{\int }_{-\infty }^{\infty }p(s,t)dt\right]ds,$$
所以边际密度又可以写成$p_X(x)={\int }_{-\infty }^{\infty }p(x,y)dy$。

至此，我们得到了连续随机变量的分布函数、密度函数的相关转化式：

• 联合分布→边际分布：$F_X(x)=F(x,\infty ),F_Y(y)=F(\infty ,y)$；
• 边际分布一般情况下无法反推联合分布；
• 联合分布→联合密度：$p(x,y)=\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}$；
• 联合密度→联合分布：$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}p(s,t)dtds$；
• 边际分布与边际密度的关系与一般分布函数和密度函数关系相同；
• 联合密度→边际密度：$p_X(x)={\int }_{-\infty }^{\infty }p(x,y)dy,p_Y(y)={\int }_{-\infty }^{\infty }p(x,y)dx$；
• 边际密度一般情况下无法反推联合密度。

以上关系十分重要。

4.*多维正态分布

由于在统计中经常运用到正态分布，对于两个正态分布之间的关系，我们可以将其联合起来研究，这就得到了多维正态分布。

先以$n$维为例，设$\mathbf{B}=(b_{ij})$是$n$维正定矩阵，$|\mathbf{B}|$为其行列式，${\mathbf{B}}^{-1}$为其逆。列向量$\mathbf{x}=(x_1,\cdots ,x_n{)}^T$代表随机向量$(X_1,\cdots ,X_n)$的联合分布取值，列向量$\mathbf{a}=(a_1,\cdots ,a_n{)}^T$是一列常数向量，则称
$$p(\mathbf{x})=\frac{1}{(2\pi {)}^{n/2}|\mathbf{B}{|}^{1/2}}\exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{a}{)}^T{\mathbf{B}}^{-1}(\mathbf{x}-\mathbf{a})\right\}$$
为$n$为正态密度函数，记作$N=(\mathbf{a},\mathbf{B})$。

• 正定矩阵，指的是对于矩阵$\mathbf{A}$与列向量$\mathbf{X}=(x_1,\cdots ,x_n{)}^T$，二次型${\mathbf{X}}^T\mathbf{A}\mathbf{X}$是一个关于$(x_1,\cdots ,x_n)$的多项式，不论$\mathbf{X}$取哪个具体的值${\mathbf{X}}_0$，${\mathbf{X}}_0^T\mathbf{A}{\mathbf{X}}_0>0$恒成立。
• 正定矩阵的逆矩阵也是正定矩阵，也就是说这里${\mathbf{B}}^{-1}$也是正定的。且正定矩阵一定是对称的。
• 在满足正定性的情况下，能保证无论$\mathbf{x}$取多少，$\exp$函数内的值都是负数，对比一维正态分布可以发现这一点。
• $A$是$n$阶正定矩阵的等价命题有
  1. $A$是正定的；
  2. $A$的一切顺序主子式均为正（顺序主子式是左上角的方阵）；
  3. $A$的一切主子式均为正（行号列号相等的交叉元素构成的方阵）；
  4. $A$的一切特征值均为正；
  5. 存在可逆矩阵$C$，使得$A=C^{T}C$；
  6. 存在秩为$n$的$m\times n$实矩阵，使$A=B^{T}B$；
  7. 存在主对角线元素全为正的实三角阵$R$，使$A=R^{T}R$。

一般$n$维的正态分布在书写上不方便，但2维的正态分布还是很常见的，此时可以取
$$\mathbf{B}=\left(\begin{array}{cc}{\sigma }_1^2& r{\sigma }_1{\sigma }_2\\ r{\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right),{\mathbf{B}}^{-1}=\frac{{\mathbf{B}}^{\ast }}{|\mathbf{B}|}=\frac{1}{|\mathbf{B}|}\left(\begin{array}{cc}{\sigma }_2^2& -r{\sigma }_1{\sigma }_2\\ -r{\sigma }_1{\sigma }_2& {\sigma }_1^2\end{array}\right),\mathbf{a}=\left(\begin{array}{c}a\\ b\end{array}\right).$$
这样，$|B|={\sigma }_1^2{\sigma }_2^2(1-r^2)$，
$$\begin{array}{rl}& (\mathbf{x}-\mathbf{a}{)}^T{\mathbf{B}}^{-1}(\mathbf{x}-\mathbf{a})\\ =& \left(\begin{array}{cc}{x}_1-a& x_2-b\end{array}\right)\left(\begin{array}{cc}{\sigma }_2^2& -r{\sigma }_1{\sigma }_2\\ -r{\sigma }_1{\sigma }_2& {\sigma }_1^2\end{array}\right)\left(\begin{array}{c}{x}_1-a\\ x_2-b\end{array}\right)/|\mathbf{B}|\\ =& [{\sigma }_2^2(x_1-a{)}^2-2r{\sigma }_1{\sigma }_2(x_1-a)(x_2-b)+{\sigma }_1^2(x_2-b{)}^2]/|\mathbf{B}|\\ =& \frac{{\sigma }_2^2(x_1-a{)}^2-2r{\sigma }_1{\sigma }_2(x_1-a)(x_2-b)+{\sigma }_1^2(x_2-b{)}^2}{{\sigma }_1^2{\sigma }_2^2(1-r^2)}\\ =& \frac{1}{1-r^2}\left[\frac{(x_1-a{)}^2}{{\sigma }_1^2}-\frac{2r(x_1-a)(x_2-b)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-b{)}^2}{{\sigma }_2^2}\right]\end{array}$$
所以二维联合分布的联合密度是
$$p(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-r^2}}\exp \left\{-\frac{1}{2(1-r^2)}\times \left[\frac{(x_1-a{)}^2}{{\sigma }_1^2}-\frac{2r(x_1-a)(x_2-b)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-b{)}^2}{{\sigma }_2^2}\right]\right\}$$
基于此可以计算$X,Y$的边际密度，但稍显复杂，是
$$p_X(x)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-a{)}^2}{2{\sigma }_1^2}};p_Y(y)=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{(y-b{)}^2}{2{\sigma }_2^2}}.$$