06.第二章 随机变量与分布函数(4)

第二章 随机变量与分布函数(4)

1.随机变量独立性

之前将随机变量整合成随机向量是为了研究两个随机变量之间的联系，既然说到联系，就免不了独立性的讨论，这是两个随机变量之间不存在联系的直接指标。事件独立性的概念是，对于两个事件$A,B$，有$P(AB)=P(A)P(B)$，而随机变量每取一个值都可以看做一个事件（落入某个范围也是一个事件）。由随机变量的定义，$\mathbb{R}$上的每个Borel集都是一个事件，因此随机变量独立，实际上对应着事件域的独立。

由于任何随机变量的分布可以用分布函数来刻画，不论离散型还是连续型，因此我们只要讨论特殊的一类Borel集$(-\infty ,C]$，这里$C$是任一常数，由这种Borel集可以通过可列次并、交、逆得到所有Borel集。这样，令事件$A$为：$X\le x$，事件$B$为：$Y\le y$，这里给定$x,y$的值，则$A,B$独立等价于
$$P(AB)=P(X\le x,Y\le y)=F(x,y)=F_X(x)F_Y(y)=P(X\le x)P(Y\le y)=P(A)P(B),$$
也就是$F(x,y)=F_X(x)F_Y(y)$。如果对于任意给定的$x,y$这个式子都成立，那么由Borel集的构造，就可以推出两个$\sigma$-代数独立，自然也就是随机变量$X,Y$独立。

综上所述，对于两个随机变量$X,Y$，它们独立等价于
$$F_{X,Y}(x,y)=F_X(x)F_Y(y),\forall x,y\in \mathbb{R}.$$
具体到离散型随机变量，因为离散型随机变量的概率分布用分布列描述，记$P(X=x_i)=p_X(x_i)$，其他类似，有
$$p_{X,Y}(x_i,y_j)=p_X(x_i)p_Y(y_j),\forall x_i,y_j.$$
具体到连续型随机变量，因为连续型随机变量的概率分布用密度函数描述，所以可以推出
$$\begin{array}{rl}F(x,y)=& F_X(x)F_Y(y),\\ {\int }_{-\infty }^x{\int }_{-\infty }^{y}p(u,v)dvdu=& {\int }_{-\infty }^x{p}_X(u)du{\int }_{-\infty }^y{p}_Y(v)dv\\ =& {\int }_{-\infty }^x{\int }_{-\infty }^y{p}_X(u)p_Y(v)dydu;\\ p(u,v)=& p_X(u)p_Y(v),\forall x,y.\end{array}$$
推广到$n$维随机向量，如果$X_1,\cdots ,X_n$相互独立，则有
$$F(x_1,x_2,\cdots ,x_n)=F_1(x_1)F_2(x_2)\cdots F_n(x_n).$$

2.条件分布

事件有条件概率，随机变量也有条件分布，但由于随机变量存在连续型的，在单点处概率值为0，故对于事件的条件概率定义式不适用了，这时候我们对$X=x$作以下改变，改成$\underset{ϵ\to 0^{+}}{\lim }X\in (x-ϵ,x+ϵ]$，这就可以定义条件概率了。

以$F_{Y|X}(y|x)=P(Y\le y|X=x)$为例，也就是求$X=x$的条件下，$Y$的条件分布函数，即
$$\begin{array}{r}P(Y\le y|X=x)=\underset{ϵ\to 0^{+}}{\lim }\frac{P(Y\le y,x-ϵ<X\le x+ϵ)}{P(x-ϵ<X\le x+ϵ)}\end{array}$$
接下来的处理，对于离散型和连续性有所不同。

离散型较为简单，直接计算条件分布列即可。如果$P(X=x)=0$那条件概率自然是0；否则可以直接利用条件概率公式：
$$P(Y=y|X=x)=\frac{P(X=x,Y=y)}{P(X=x)}.$$
条件分布函数可以利用条件概率分布列，以及概率的可列可加性直接求得。由于离散型随机变量的条件分布并不常用，所以不多说。

连续型稍微复杂一点，可以得到
$$\begin{array}{rl}& F_{Y|X}(y|x)=P(Y\le y|X=x)\\ =& \underset{ϵ\to 0^{+}}{\lim }\frac{[F(x+ϵ,y)-F(x+ϵ,-\infty )]-[F(x-ϵ,y)-F(x-ϵ,-\infty )]}{F_X(x+ϵ)-F_X(x-ϵ)}\\ =& \underset{ϵ\to 0^{+}}{\lim }\frac{F(x+ϵ,v)-F(x-ϵ,v)}{F_X(x+ϵ)-F_X(x-ϵ)}\\ =& \underset{ϵ\to 0^{+}}{\lim }\frac{\frac{F(x+ϵ,v)-F(x-ϵ,v)}{2ϵ}}{\frac{F_X(x+ϵ)-F_X(x-ϵ)}{2ϵ}}\\ =& \frac{{\int }_{-\infty }^{y}p(x,v)dv}{p_X(x)}\\ =& {\int }_{-\infty }^y\frac{p(x,v)}{p_X(x)}dv.\end{array}$$
所以条件密度就是
$$p_{Y|X}(y|x)=F_{Y|X}^{\prime }(y|x)=\frac{p(x,y)}{p_X(x)}.$$

3.连续形式下的全概率公式与Bayes公式

连续形式下的全概率公式打破了对随机事件组可列性的限制，比如对连续性随机变量$\xi$，$\xi$等于$\mathbb{R}$上每一个数可以构成一个完备事件组，但由于实数集不可列所以没法写出全概率公式，这时就需要连续型的全概率公式。

由于$\xi$取每一个值$x$时，事件$A$都对应着一个条件概率$P(A|X=x)$，因此我们可以考虑用一个函数来表示这个概率，记作$g(x)=P(A|X=x)$。如果$X$是离散型的，只能取可列个值以内，那么全概率公式可以直接用离散形式写出；如果$X$是连续型的，则它具有自己的概率密度函数$p(x)$，将$X=x$视为$X\in [x,x+\Delta x],\Delta x\to 0$，则
$$\begin{gathered} P(A|X=x)\approx \frac{P(A,X\in [x,x+\Delta x])}{P(X\in [x,x+\Delta x])}, \\ P(A,X\in [x,x+\Delta x])=P(A|X=x)p(x)\Delta x+o(\Delta x); \end{gathered}$$
于是，做分割$-\infty =x_0<x_1<\cdots <x_n=\infty$，令分割的长度$\delta$趋近于0，有
$$\begin{array}{rl}P(A)=& P(A,x\in \mathbb{R})\\ =& \underset{\delta \to 0}{\lim }\sum _{i=1}^{n}P(A,X\in [x_{i-1},x_i])\\ =& \underset{\delta \to 0}{\lim }\sum _{i=1}^{n}P(A|X=x_{i-1})p(x_{i-1})(x_{i-1}-x_i)\\ =& {\int }_{-\infty }^{\infty }P(A|X=x)p(x)dx\\ =& {\int }_{-\infty }^{\infty }g(x)p(x)dx.\end{array}$$
这就是全概率公式的连续形式。

对于Bayes公式，主要是关联两个条件概率$P(X|Y)$和$P(Y|X)$的，所以不需要依赖于具体事件，只要对于两个连续型随机变量$X,Y$即可。因为$p(x,y)=p_X(x)p_{Y|X}(y|x)=p_Y(y)p_{X|Y}(x|y)$，所以有
$$p_{X|Y}(x|y)=\frac{p(x,y)}{p_Y(y)}=\frac{p_{Y|X}(y|x)p_X(x)}{{\int }_{-\infty }^{\infty }{p}_{Y|X}(y|v)p_X(v)dv}.$$
这就是连续形式的Bayes公式。

由以上两个连续形式的公式，可以看出，对两个条件密度的转化，主要连接桥梁在于它们的联合密度函数。