04.第二章 随机变量与分布函数(2)

第二章 随机变量与分布函数(2)

1.离散型随机变量

离散型随机变量：随机变量$\xi$的值只能取至多可列个，则称为离散型随机变量。这里的可列，包含了有限与无限可列，而既然可列，就可以将所有的可能取值列成$x_1,x_2,\cdots ,x_n,\cdots$的形式。要完整地刻画离散型随机变量，只要对这些单点Borel集求概率即可，也就是求出$P(\xi =x_i)$的值，这个值通常记作$p_i$或$p(x_i)$。

• 单点集也是一种Borel集，如单点5，只要构造一系列左开右闭区间$(5-\frac{1}{n},5]$，并将$n$取至无穷再取这些集合的交集即可。

一旦求出所有的$p_i$，就可以将取值-概率列成表格的形式，称为$\xi$的分布列（概率分布），它包含$\xi$的可能取值与取这些值的概率：
$$\left(\begin{array}{ccccc}{x}_1& x_2& \cdots & x_n& \cdots \\ p_1& p_2& \cdots & p_n& \cdots \end{array}\right).$$
并且有$p(x_i)>0,\sum _{i=1}^{\infty }{p}_i=1$。由概率的可列可加性，对任一Borel集$B$，有
$$P(\xi (\omega )\in B)=\sum _{x_i\in B}{p}_i.$$
有以下几种常用的离散型随机变量与分布：

1. 0-1分布：$P(\xi =0)=p,P(\xi =1)=q=1-p$。这常用于非数值型随机试验的抽象，即一个随机试验只可能有事件发生与不发生两个结果，则将发生对应于取值1，不发生对应于取值0，$p$称为成功概率。

   0-1分布也被称为Bernoulli分布。如果只能取两个值但不一定是0、1，则称为两点分布。

2. 二项分布：$P(\xi =k)=C_n^k{p}^k{q}^{n-k},p+q=1,p,q>0,k=0,1,\cdots ,n$，满足这种形式的随机变量称为服从二项分布，记作$B(n,p)$。二项分布可以视作Bernoulli试验重复$n$次后的成功次数。

3. 泊松分布：$P(\xi =k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },\lambda >0,k=0,1,2,\cdots$，满足这种形式的随机变量称为服从泊松分布，记作$P(\lambda )$。泊松分布是应用很广泛的一种分布族，可以用来描述独立的随机现象的到来。

   当二项分布实验次数$n$很大时，近似于服从参数为$\lambda =np$的泊松分布。

4. 几何分布：$P(\xi =k)=p{q}^{k-1},p+q=1,p,q>0,k=1,2,\cdots$，满足这种形式的随机变量称为服从几何分布，记作$G(p)$。几何分布可以看成Bernoulli试验在第$k$次时首次成功的概率。

   几何分布最重要的性质是无记忆性，即$P(\xi >m+k|\xi >m)=P(\xi >k)$，也就是说，前$m$次的失败都可以不作考虑，从下一次重新开始计算。

5. 超几何分布：适用于抽样检测的分布，不常用。

离散型随机变量的分布函数，可以直观地由定义得出，假设一切取值$x_1,x_2,\cdots ,x_n,\cdots$是从小到大排列的，也就是$x_1<x_2<\cdots$，那么$P(\xi \le x)$只需要查看哪一个最大的$x_k\le x$，再由离散型随机变量概率的可列可加性将$p_1,\cdots ,p_k$相加即可得到$F(x)$。注意，由于$\xi <x_i$与$\xi \le x_i$的样本点差了一个$\xi =x_i$，因此概率不同，也就是说$F(x-0)<F(x)$，说明分布函数不具有左连续性。

2.连续型随机变量

连续型随机变量的取值就不止是可列的，而是不可列的，这时候概率分布列就不能用来描述随机变量的分布了。但有一种特殊的分布函数，其形式满足
$$F_{\xi }(x)={\int }_{-\infty }^x{p}_{\xi }(t)dt.$$
只要能找到这样的非负可积函数$p_{\xi }(x)$，不论$p_{\xi }(x)$是分段的还是定义域被限制的，随机变量$\xi$都被称为连续型随机变量，而$p_{\xi }(x)$称为（概率）密度函数，在不引起混淆的情况下也可以写成$p(x)$。

由于密度函数由积分定义，就有
$$P(\xi \le x)=F_{\xi }(x)={\int }_{-\infty }^x{p}_{\xi }(t)dt,$$
再由积分的可加性，可以证明对任意Borel集$B$，$P(\xi \in B)={\int }_B{p}_{\xi }(t)dt$。特别当$B$取$\mathbb{R}$时，有
$$P(\xi \in \mathbb{R})=1={\int }_{-\infty }^{\infty }p(t)dt,$$
这就是密度函数的规范性，即密度函数在$\mathbb{R}$上的积分必定为1。而落在每个单点$c$的概率$P(\xi =c)$为
$$P(\xi =c)=F(c)-F(c-0)=\underset{h\to 0^{+}}{\lim }{\int }_{c-h}^{c}p(t)dt=0,$$
即连续随机变量落在每一个单点处的概率都是0，这也说明连续型随机变量不能用分布列来刻画。

并且，从直观角度来看，概率密度函数实际上刻画了随机变量$\xi$落在每个位置的机会大小，每个区间上的曲边梯形面积就代表了$\xi$落入每个区间的大小。可以将积分看作一种特殊的求和，这样，概率密度函数与概率分布列之间其实有着相通、且更为良好的性质。

对于连续性随机变量，在$p(x)$的连续点处$F(x)$是可导的，并且有$F^{\prime }(x)=p(x)$，这就为求密度函数提供了桥梁，也可以验证$F(x)$是否是一个连续型随机变量的分布函数。实际上，由连续随机变量积分的定义，$F(x)$应当是绝对连续的，也是处处连续的。

有以下几种常用的连续型随机变量与分布：

1. 均匀分布：
   $$p(x)=\frac{1}{b-a}\cdot I_{(a\le x\le b)}.$$
   称为服从$[a,b]$上的均匀分布，记作$U(a,b)$。它形式上表现为在$[a,b]$之间每一点处概率密度都相等，再填上正则化因子$\frac{1}{b-a}$使得密度函数的积分为1。

   最常用的均匀分布是$U(0,1)$，如果$\xi \sim U(a,b)$，直观上可以看出$\frac{\xi -a}{b-a}$服从$U(0,1)$，以后也可以证明。

2. 正态分布：
   $$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-a{)}^2}{2{\sigma }^2}},a\in \mathbb{R},\sigma >0.$$
   称为服从正态分布，记作$N(a,{\sigma }^2)$。其中，呈现正态分布密度函数形状的主体（称为分布的核）是$e^{-\frac{(x-a{)}^2}{2{\sigma }^2}}$，前面的$\frac{1}{\sqrt{2\pi }\sigma }$是保证积分为1的正则化因子，可以证明（略看即可）
   $$\begin{array}{rl}& {\int }_{-\infty }^{\infty }{e}^{-\frac{(x-a{)}^2}{2{\sigma }^2}}dx\\ \stackrel{t=\frac{x-a}{\sigma }}{=}& {\int }_{-\infty }^{\infty }\sigma e^{-\frac{t^2}{2}}dt,\end{array}$$
   取其平方，为
   $$\begin{array}{rl}& {\int }_{-\infty }^{\infty }\sigma e^{-\frac{t^2}{2}}dt{\int }_{-\infty }^{\infty }\sigma e^{-\frac{s^2}{2}}ds\\ =& {\sigma }^2{\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{e}^{-\frac{t^2+s^2}{2}}dtds\\ \stackrel{球变换}{=}& {\sigma }^2{\int }_0^{2\pi }d\theta {\int }_0^{\infty }r{e}^{-\frac{r^2}{2}}dr\\ \stackrel{t=\frac{r^2}{2}}{=}& 2\pi {\sigma }^2{\int }_0^{\infty }{e}^{-t}dt\\ =& 2\pi {\sigma }^2.\end{array}$$
   所以原积分值为$\sqrt{2\pi }\sigma$，正则化因子为其导数。

   标准化的正态分布是$N(0,1)$，一般记标准正态分布的分布函数为$\Phi (x)=P(\xi \le x)$，其相关函数值制成表，可以查到标准正态分布的分位数值。且有$\Phi (0)=1/2,\Phi (-x)=1-\Phi (x)$。

   正态分布十分重要，两个参数分别是二项分布的均值和方差，且形式需要牢记。正态分布可以描述生活中许多的统计现象，且可以导出一些统计常用的其他分布。

3. 指数分布：
   $$p(x)=\lambda e^{-\lambda x}{I}_{(x\ge 0)},\lambda >0.$$
   称为服从指数分布，记作$P(\lambda )$。指数分布具有类似于几何分布的无记忆性，即$P(\xi >s+t|\xi >s)=P(\xi >t)$，并且指数分布还是唯一具有无记忆性的连续分布，因此，指数分布常常用来描述生活中一些具有无记忆性的随机现象。

4. $\Gamma$分布：
   $$p(x)=\frac{{\lambda }^n}{\Gamma (n)}{x}^{n-1}{e}^{-\lambda x}{I}_{(x\ge 0)}$$
   称为服从$\Gamma$分布，记作$\Gamma (n,\lambda )$，这里$\Gamma (n)$是$\Gamma$函数，即$\Gamma (n)={\int }_0^{\infty }{x}^{n-1}{e}^{-x}dx$，给定$n$后是一个定值。其核为$x^{n-1}{e}^{-\lambda x}$，前面的${\lambda }^n/\Gamma (n)$是正则化因子。可以证明
   $$\begin{array}{rl}& {\int }_0^{\infty }{x}^{n-1}{e}^{-\lambda x}dx\\ =& \frac{1}{{\lambda }^n}{\int }_0^{\infty }(\lambda x{)}^{n-1}{e}^{-\lambda x}\cdot \lambda dx\\ \stackrel{t=\lambda x}{=}& \frac{1}{{\lambda }^n}{\int }_0^{\infty }{t}^{n-1}{e}^{-t}dt\\ =& \frac{\Gamma (n)}{{\lambda }^n}.\end{array}$$
   所以正则化因子为其倒数。

   $\Gamma$分布由其独特的核形式，关联了$x^a{e}^{bx}$的形式，因此用处很广泛，尤其在数理统计中。

5. $\mathrm{B}$分布：
   $$p(x)=\frac{1}{\mathrm{B}(a,b)}{x}^{a-1}(1-x{)}^{b-1}{I}_{(0\le x\le 1)},a,b>0.$$
   称为服从$\mathrm{B}$分布，记作$\beta (a,b)$，这里$\mathrm{B}(a,b)$是$\mathrm{B}$函数，即$\mathrm{B}(a,b)={\int }_0^1{x}^{a-1}(1-x{)}^{b-1}dx$，给定$a,b$后是一个定值。其核为$x^{a-1}(1-x{)}^{b-1}$，由于其特殊形式，用处也很广泛，尤其在数理统计中，与$\Gamma$分布、两点分布、二项分布都有关联。

   这里给出$\mathrm{B}$函数与$\Gamma$函数的关联：
   $$\mathrm{B}(a,b)=\frac{\Gamma (a)\Gamma (b)}{\Gamma (a+b)}.$$

6. Cauchy分布：
   $$p(x)=\frac{1}{\pi [1+(x-\theta {)}^2]},\theta \in \mathbb{R}.$$
   称为服从参数为$\theta$的Cauchy分布，它主要以特例的形式出现，并不常用。