概率论于数理统计(陈希孺)笔记2.3

2.3 条件概率分布与随机变量的独立性

2.3.1 条件概率分布的概念

一个随机变量或向量$X$的条件概率分布，就是在某种给定的条件之下，$X$的概率分布.

考虑之前提到的体重$X_1$与身高$X_2$的二维正态分布$N\left(a,b,{\sigma }_2^1,{\sigma }_2^2,\rho \right)$.根据之前的论述可以知道$X_1$,$X_2$都有单独的概率分布,分别为$N\left(a,{\sigma }_1^2\right)$和$N\left(b,{\sigma }_2^2\right)$. 现在如限制$1.7⩽X_2⩽1.8$(米 ), 在这个条件下去求$X_1$的 条件分布,这就意味着要从这一大群人中把其身高在$1.7$米和$1.8$米的那些人都挑出来,然后在挑出的人群中求其体重的分布. 容易想像, 这个分布与不设这个条件的分布 (无条件分布)会很不一样.体重取大值的概率会显著增加.

从这个例子也看出条件分布这个概念的重要性.

2.3.2 离散型随机变量的条件概率分布

这个比较简单,直接给例子.

多项分布的条件概率分布

设$\left(X_1,X_2,\cdots ,X_n\right)$服从多项分布$M(N;p_1,\cdots ,$,$p_n$). 在给定$X_2=k_2$的条件下,$X_1$的条件分布为$B\left(N-k_2,p_1/\left(1-p_2\right)\right)$

代数证明略去.这个公式的直观意义为在$X_2=k_2$的条件下,剩下$n-1$个变量的联合分布就变为$n-k_2$个物品分成$n-1$堆,每个物品分到第$i$堆的概率从$p_i$变成$p_i/(1-p_2)$.那么$X_1$的条件分布就变为$M\left(N-k_2;p_1/(1-p_2),p_3/(1-p_2),\cdots ,p_n/(1-p_2)\right)$的边缘分布,即$B\left(N-k_2,p_1/\left(1-p_2\right)\right)$

2.3.3 连续型随机变量的条件分布

连续型随机变量的条件分布函数如下

1. 当$a\ne b$时

$$f_1\left(x_1\mid a⩽X_2⩽b\right)={\int }_a^{b}f\left(x_1,t_2\right)\mathrm{d}{t}_2/{\int }_a^b{f}_2\left(t_2\right)\mathrm{d}{t}_2$$

2. 当$a=b=x_2$时

$$f\left(x_1\mid x_2\right)=f_2\left(x_2\right)f_1\left(x_1,x_2\right)$$

可以记为
$$f\left(x_1,x_2\right)=f_2\left(x_2\right)f_1\left(x_1\mid x_2\right)$$
可以看出该公式对应于条件概率的公式$P(AB)=P(B)P(A\mid B)$

推广到任意多变量的场合

$$f\left(x_1,\cdots ,x_n\right)=g\left(x_1,\cdots ,x_k\right)h\left(x_{k+1},\cdots ,x_n\mid x_1,\cdots ,x_k\right)$$

下面给出连续型随机变量的条件分布的例子

二维正态分布的条件分布

设$\left(X_1,X_2\right)$服从二维正态分布$N\left(a,b,{\sigma }_1^2,{\sigma }_2^2,\rho \right)$. 在给定$X_1=x_1$的条件下,$X_2$的条件密度函数
$$\begin{array}{rl}{f}_2\left(x_2\mid x_1\right)=& \frac{1}{\sqrt{2\pi }{\sigma }_2\sqrt{1-{\rho }^2}}\\ & \cdot \exp \left[-\frac{{\left(x_2-\left(b+\rho {\sigma }_2{\sigma }_1^{-1}\left(x_1-a\right)\right)\right)}^2}{2\left(1-{\rho }^2\right){\sigma }_2^2}\right]\end{array}$$
这正是正态分布$N\left(b+\rho {\sigma }_2{\sigma }_1^{-1}\left(x_1-a\right),{\sigma }_2^2\left(1-{\rho }^2\right)\right)$的概率密度函数.

由这里可以看出$\rho$刻画了$X_1,X_2$之间的相依关系.解释如下:

1. 若$\rho >0$, 则随着$x_1$的增加,$X_2$(在$X_1=x_1$之下) 的条件分布的中心点$m\left(x_1\right)$随$x_1$的增加而增加. 可以看出: 这意味着当$x_1$增加时,$X_2$取大值的可能性增加, 即$X_2$有随着$X_1$的增长而增长.若$\rho <0$则情况相反.若$\rho =0$则无关.这从中心点的角度刻画了$\rho$对$X_1$,$X_2$相依关系的刻画.

   下图展示了$X1$分布为$N\left(25,64\right)$和$X_2$分布为$N\left(25,64\right)$时,不同$\rho$下二维正态分布的概率密度.

   

   下图展示了$rho=0.5$时,$X_1=15,25,35$下$X_2$的条件分布

   

2. 若$|\rho |=0$,则$\sigma ={\sigma }_2$,$X_2$分布的集中程度不受$X_1$影响.现在考虑极端情况,假如$|\rho |=1$,那么$\sigma =0$,由一维正态分布的性质可以知道$X_2$的取值全部集中于$m(X_1)$.也就是说,$X_2$的取值由$X_1$完全决定.这从集中程度的角度刻画了$\rho$对$X_1$,$X_2$相依关系的刻画.

   下图为$\rho =0.999$时$X_2$的条件分布

   

2.3.4 随机变量的独立性

定义$3.1$设$n$维随机向量$\left(X_1,\cdots ,X_n\right)$的联合密度函数为$f\left(x_1,\cdots ,x_n\right)$, 而$X_i$的(边缘)密度函数为$f_i\left(x_i\right),i=1,\cdots ,n$. 如 果
$$f\left(x_1,\cdots ,x_n\right)=f_1\left(x_1\right)\cdots f_n\left(x_n\right)$$
就称随机变量$X_1,\cdots ,X_n$相互独立或简称独立

定义 3.2 设$X_1,\cdots ,X_n$都是离散型随机变量. 若对任何常 数$a_1,\cdots ,a_n$, 都有
$$P\left(X_1=a_1,\cdots ,X_n=a_n\right)=P\left(X_1=a_1\right)\cdots P\left(X_n=a_n\right)$$
则称$X_1,\cdots ,X_n$相互独立

定理$3.1$如果连续变量$X_1,\cdots ,X_n$独立时, 则对任何$a_i<$$b_i,i=1,\cdots ,n$, 由$(3.14)$定义的$n$个事件$A_1,\cdots ,A_n$也独立.

定理$3.2$若连续型随机向量$\left(X_1,\cdots ,X_n\right)$的概率密度函数$f\left(x_1,\cdots ,x_n\right)$可表为$n$个函数$g_1,\cdots ,g_n$之积, 其中$g_i$只依赖于$x_i$, 即
$$f\left(x_1,\cdots ,x_n\right)=g_1\left(x_1\right)\cdots g_n\left(x_n\right)$$
则$X_1,\cdots ,X_n$相互独立,且$X_i$的边缘密度函数$f_i\left(x_i\right)$与$g_i\left(x_i\right)$只 相差一个党数因子

定理$3.3$若$X_1,\cdots ,X_n$相互独立,而
$$Y_1=g_1\left(X_1,\cdots ,X_m\right),Y_2=g_2\left(X_{m+1},\cdots ,X_n\right)$$
则$Y_1$和$Y_2$独立.