UA MATH564 概率论I 离散型随机变量

古典概型

古典概型中某个事件发生的概率等于这个事件包含的基本事件数量除以基本事件总数。基本事件发生的概率被假设为是相等的。常见的符合古典概型的情形有掷硬币(toss a coin),丢色子(roll a die),抽扑克等。假设样本空间为Ω\Omega
Ω={w1,w2,...,wN} \Omega = \{w_1,w_2,...,w_N\}
事件AA包含的基本事件数量为N(A)N(A),则事件AA发生的概率是
P(A)=N(A)N P(A) = \frac{N(A)}{N}
一般样本空间有限时的概率问题都可以套古典概型,因此怎么去计算一个事件包含的基本事件数量是计算事件概率的关键,下面简单回顾一下简单的排列组合。

排列数与组合数

排列数(n)k(n)_k(n falling k)的含义是从nn个元素中抽出kk个构成的所有排列的总数。
(n)k=n(n1)(n2)...(nk+1)=n!(nk)! (n)_k = n(n-1)(n-2)...(n-k+1) = \frac{n!}{(n-k)!}
其中kk个元素的所有可能的排列数为
(k)k=k(k1)...1=k! (k)_k = k(k-1)...1 = k!
nn个元素中抽出kk个元素的所有可能的抽法数量是组合数CnkC_n^k
Cnk=(n)kk!=n!(nk)!k! C_n^k = \frac{(n)_k}{k!} = \frac{n!}{(n-k)!k!}
关于组合数有两个有用的性质
Cnn1=Cn1=nCnk=Cnnk C_n^{n-1} = C_n^1 = n \\ C_n^{k} = C_n^{n-k}
关于组合数还有两个常用的递推关系
kCnk=nCn1k1Cnk=Cn1k1+Cn1k(Pascal Triangle) kC_n^k = nC_{n-1}^{k-1} \\ C_n^k = C_{n-1}^{k-1} + C_{n-1}^{k} (杨辉三角,Pascal\ Triangle)
关于阶乘的Stirling公式,在推导离散型随机变量序列的极限分布时会有很大帮助
n!2πnn+1/2en n! \approx \sqrt{2\pi} n^{n+1/2}e^{-n}

二项式定理,负二项式定理与多项式定理

二项式定理是
(x+y)n=k=0nCnkxnkyk=k=0Cnkxnkyk (x+y)^n = \sum_{k=0}^{n} C_n^k x^{n-k}y^k = \sum_{k=0}^{\infty} C_n^k x^{n-k}y^k
比较基础没什么评论。负二项式定理给出了当上式指数为负时的展开式
(x+y)r=1xr(1+yx)r=1xrk=0Crk(yx)k=k=0Crkxrkyk (x+y)^{-r} = \frac{1}{x^r}(1+\frac{y}{x})^{-r} = \frac{1}{x^r} \sum_{k=0}^{\infty} C_{-r}^k (\frac{y}{x})^k = \sum_{k=0}^{\infty} C_{-r}^k x^{-r-k}y^k
其中
Crk=(1)kCr+k1k C_{-r}^{k} = (-1)^kC_{r+k-1}^{k}
这个系数对应的背景是可以重复抽取的组合问题。多项式定理处理的问题是展开
(x1+x2+...+xr)n (x_1+x_2+...+x_r)^n
假设展开式某一项为x1n1x2n2...xrnrx_1^{n_1}x_2^{n_2}...x_r^{n_r},则
n1+n2+...+nr=n n_1+n_2+...+n_r = n
该项在所有展开式中出现的次数为
Cnn1Cnnn1Cnnn1n2...Cnnr=n!n1!n2!...nr! C_n^{n_1} C_n^{n-n_1} C_n^{n-n_1-n_2} ... C_n^{n_r} = \frac{n!}{n_1!n_2!...n_r!}
这个系数对应的组合背景是将n个物体分成r组的所有可能的分法数量。所以多项式的展开为
(x1+x2+...+xr)n=n1+n2+...+nr=nn!n1!n2!...nr!x1n1x2n2...xrnr (x_1+x_2+...+x_r)^n = \sum_{n_1+n_2 + ... +n_r=n} \frac{n!}{n_1!n_2!...n_r!} x_1^{n_1}x_2^{n_2}...x_r^{n_r}
这三个定理将作为某些分布的基本结构。之后我们会看到分布的分布列或者分布函数需要满足归一性,归一性给出的恒等式就是一个分布的基本结构,根据基本结构可以比较轻松地计算期望方差等数字特征。

第二类Stirling数

第二类Stirling数(Stirling number of the second kind)对应的组合问题是如何将n个物品放进r个非空的盒子里,通常用S2(n,r)S_2(n,r)表示。有两个值是比较明显的
S2(n,1)=S2(n,n)=1S2(n,0)=S2(0,n)=0 S_2(n,1) = S_2(n,n)=1 \\ S_2(n,0) = S_2(0,n) = 0
nn个物品放进n1n-1个非空的盒子里,相当于从nn个物品中抽出两个放入同一个盒子,再将剩下的每个球单独放入一个盒子里,因此
S2(n,n1)=Cn2 S_2(n,n-1) = C_n^2
第二类Stirling数有类似杨辉三角的递推性质
S2(n+1,k)=kS2(n,k)+S2(n,k1) S_2(n+1,k) = kS_2(n,k) + S_2(n,k-1)
口述证明即可。假设现在已经放好了nn个球,那么这nn个球要么已经占据了kk个盒子,要么只占据了k1k-1个盒子。如果占据了kk个盒子,那么第n+1n+1个球就可以有Ck1=kC_k^1=k中放法,即随便放在哪个盒子里,这种情况对应的分法数量为kS2(n,k)kS_2(n,k);如果占据了k1k-1个盒子,那么第n+1n+1个球必须放进第kk个盒子,这时分类方法为S2(n,k1)S_2(n,k-1)。根据上述一些特殊值和递推关系可以计算出任何一个第二类Stirling数。
可重排列数与排列数之间可以用第二类Stirling数联系。
xn=k=1nS2(n,k)(x)k x^n = \sum_{k=1}^n S_2(n,k) (x)_k
这个证明也可以口述。考虑映射g:{1,2,...,n}{1,2,...,x}g:\{1,2,...,n\} \to \{1,2,...,x\}的数量,有两种计数方法。比较直接的方法是定义域内每一个输入都可以对应1到xx中的任何一个,因此这类映射的数量为nnxx相乘,即xnx^n。另一种计数方法不太直接,考虑到映射的性质,这个映射的值域最多有nn个元素。对值域有kk个元素的那些映射,注定只能取到1到xx里面的kk个值,这kk个值每一个都要有与之对应的定义域的子集,因此定义域也会被分割成kk个非空无交的集合。因此值域有kk个元素的映射数量为S2(n,k)(x)kS_2(n,k)(x)_kk=1,2,...,nk=1,2,...,n

独立性与条件概率

两个事件A,BA,B的独立性被定义为
P(AB)=P(A)P(B) P(A\cap B) = P(A)P(B)
条件概率的含义是在事件BB发生的前提下,事件AA发生的概率
P(AB)=N(AB)N(B)=P(AB)P(B) P(A|B) = \frac{N(A\cap B)}{N(B)} = \frac{P(A\cap B)}{P(B)}

全概率公式

假设样本空间Ω\Omega存在一个分割{Di}i=1m\{D_i\}_{i=1}^{m}满足
Ω=i=1mDi \Omega = \bigsqcup_{i=1}^{m} D_i
则事件AA也可以被这个分割划分为其子集的无交并
A=i=1mADi A = \bigsqcup_{i=1}^{m} A \cap D_i
从而这些事件中含有的基本事件数量也有如下关系
N(A)=i=1mN(ADi) N(A) = \sum_{i=1}^{m} N(A \cap D_i)
在古典概型下可以导出全概率公式
P(A)=i=1mP(ADi) P(A) = \sum_{i=1}^{m} P(A \cap D_i)

贝叶斯公式

贝叶斯公式(Bayesian Formula)回答的问题是在观察到事件AA发生的情况下,事件DkD_k发生的概率。
P(DkA)=P(ADk)P(A) P(D_k |A) = \frac{P(A \cap D_k)}{P(A)}
根据全概率公式,
P(DkA)=P(ADk)i=1mP(ADi) P(D_k |A) = \frac{P(A \cap D_k)}{\sum_{i=1}^{m} P(A \cap D_i)}
根据条件概率的定义
P(ADk)=P(ADk)P(Dk) P(A|D_k) = \frac{P(A \cap D_k)}{P(D_k)}
因此
P(DkA)=P(ADk)P(Dk)i=1mP(ADi)P(Di) P(D_k |A) = \frac{P(A | D_k)P(D_k)}{\sum_{i=1}^{m} P(A | D_i)P(D_i)}
其中P(Dk)P(D_k)是事件DkD_k的先验概率(prior),P(DkA)P(D_k |A)是其后验概率(posterior)。

Bernoulli试验与二项分布

Bernoulli试验(Bernoulli trials)指的是试验结果只有成功或者失败的试验,假设随机变量Xi,i=1,2,...,nX_i,i=1,2,...,n代表第ii次独立重复Bernoulli试验的结果,Xi=1X_i=1代表试验成功,Xi=0X_i=0代表试验失败,p=P(Xi=1)p=P(X_i=1)是成功概率。有两个比较常用的结果
EXi=pVar(Xi)=p(1p)2+(1p)(0p)2=p(1p) EX_i = p \\ Var(X_i) = p(1-p)^2 + (1-p)(0-p)^2 = p(1-p)
假设随机变量Y=X1+X2+...+XnY=X_1+X_2+...+X_n,则YY代表nn次独立重复Bernoulli试验的成功次数,其分布为二项分布,记为B(n,p)B(n,p)
P(Y=k)=Cnkpk(1p)nk P(Y=k) = C_n^k p^k(1-p)^{n-k}
其归一化条件为二项式定理
k=0nP(Y=k)=k=0nCnkpk(1p)nk=(1p+p)n=1 \sum_{k=0}^{n} P(Y=k) = \sum_{k=0}^{n} C_n^k p^k(1-p)^{n-k} = (1-p+p)^n = 1
可以根据这个结构计算二项分布的期望与方差。
EY=k=0nkP(Y=k)=k=0nkCnkpk(1p)nk EY = \sum_{k=0}^{n} kP(Y=k) = \sum_{k=0}^{n} kC_n^k p^k(1-p)^{n-k}
为了凑二项式定理的形式,需要处理掉组合数前的kk,根据组合数的性质,这里面的kCnkkC_n^k可以替换为nCn1k1nC_{n-1}^{k-1},因此
EY=k=0nnCn1k1pk(1p)nk=npk=1nCn1k1pk1(1p)(n1)(k1)=npk=0n1Cn1kpk(1p)(n1)k=np EY = \sum_{k=0}^{n} nC_{n-1}^{k-1} p^k(1-p)^{n-k} = np \sum_{k=1}^{n} C_{n-1}^{k-1} p^{k-1}(1-p)^{(n-1)-(k-1)} \\ = np \sum_{k=0}^{n-1} C_{n-1}^k p^k(1-p)^{(n-1)-k} = np
EY2=k=0nk2P(Y=k)=k=0nk2Cnkpk(1p)nk=npk=0n1(k+1)Cn1kpk(1p)(n1)k=npk=0n1kCn1kpk(1p)(n1)k+np=npk=0n1(n1)Cn2k1pk(1p)(n1)k+np=n(n1)p2+np EY^2 = \sum_{k=0}^{n} k^2P(Y=k) = \sum_{k=0}^{n} k^2C_n^k p^k(1-p)^{n-k} \\ =np \sum_{k=0}^{n-1} (k+1)C_{n-1}^k p^k(1-p)^{(n-1)-k} \\=np \sum_{k=0}^{n-1} kC_{n-1}^k p^k(1-p)^{(n-1)-k} + np \\ = np \sum_{k=0}^{n-1} (n-1)C_{n-2}^{k-1} p^k(1-p)^{(n-1)-k} + np \\ = n(n-1)p^2 + np
Var(Y)=EY2(EY)2=np(1p) Var(Y) = EY^2 - (EY)^2 = np(1-p)
矩生成函数也是用凑二项式定理的形式计算
MY(t)=E(etY)=k=0netkCnkpk(1p)nk=k=0nCnk(pet)k(1p)nk=(1p+pet)n M_Y(t) = E(e^{tY}) = \sum_{k=0}^{n} e^{tk} C_n^k p^k(1-p)^{n-k} \\ = \sum_{k=0}^{n} C_n^k (pe^t)^k(1-p)^{n-k} = (1-p+pe^t)^n

Poisson分布

假设X是Poisson随机变量,参数为λ\lambda,其分布列为
P(X=k)=λkeλk! P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}
归一化条件的来自eλe^{\lambda}的Taylor展开
k=0P(X=k)=k=0λkeλk!=eλeλ=1 \sum_{k=0}^{\infty} P(X=k) = \sum_{k=0}^{\infty}\frac{\lambda^k e^{-\lambda}}{k!}=e^{-\lambda}e^{\lambda} = 1
假设服从二项分布的随机变量YY的参数满足λ=np\lambda=np,则nn \to \infty时,
P(Y=k)=Cnkpk(1p)nk=n!(nk)!k!pk(1p)nk2πnn+1/2en2π(nk)nk+1/2en+kk!pk(1p)nk(np)keλk!(nnk)nk+1/2ekλkeλk!(1+knk)nk+1/2ekλkeλk! P(Y=k) = C_n^k p^k(1-p)^{n-k} = \frac{n!}{(n-k)!k!} p^k(1-p)^{n-k} \\ \to \frac{\sqrt{2\pi} n^{n+1/2}e^{-n}}{\sqrt{2\pi} (n-k)^{n-k+1/2}e^{-n+k}k!} p^k(1-p)^{n-k} \\ \to \frac{(np)^ke^{-\lambda}}{k!} (\frac{n}{n-k})^{n-k+1/2}e^{-k} \\ \to \frac{\lambda^ke^{-\lambda}}{k!} (1+\frac{k}{n-k})^{n-k+1/2}e^{-k} \\ \to \frac{\lambda^ke^{-\lambda}}{k!}
上式说明二项分布独立重复试验次数足够多,成功概率足够小时,二项随机变量依分布收敛于Poisson随机变量。推导过程中第一个近似用的是Stirling公式,接下来运用的主要是以下引理:
如果ak0a_k \to 0ckc_k \to \inftyakckλa_kc_k \to \lambda,则
(1+ak)ckeλ (1+a_k)^{c_k} \to e^{\lambda}
Poisson分布一般用于记录单位时间内随机事件发生的次数,λ\lambda的含义是事件发生的平均速率或者称为强度。

几何分布与负二项分布

几何分布记录独立重复Bernoulli试验第一次成功前失败的次数,其分布列为
P(X=k)=p(1p)k P(X=k) = p(1-p)^k
归一化的条件来自几何序列的级数,因此被称为几何分布
k=0P(X=k)=pk=0(1p)k=p1(1p)1(1p)=1 \sum_{k=0}^{\infty} P(X=k) = p\sum_{k=0}^{\infty} (1-p)^k = p\frac{1-(1-p)^{\infty}}{1-(1-p)} = 1
几何分布有另一种定义的方法,如果记录的是独立重复Bernoulli试验第一次成功前试验的次数,则同样是服从几何分布的。
负二项分布与几何分布比较类似,它记录独立重复Bernoulli试验第r次成功前失败的次数,其分布列为
P(X=k)=Crkpr(1p)k=Cr+k1kpr(1p)k P(X=k) = C_{-r}^k p^r (1-p)^k = C_{r+k-1}^k p^r (1-p)^k
考虑
pr=[1(1p)]r=k=0Crk(p1)k=k=0Cr+k1k(1p)k p^{-r} = [1-(1-p)]^{-r} = \sum_{k=0}^{\infty}C_{-r}^k (p-1)^k = \sum_{k=0}^{\infty}C_{r+k-1}^k (1-p)^k
归一化条件基于负二项式定理,因此这个分布被称为负二项分布
k=0P(X=k)=k=0Cr+k1kpr(1p)k=prpr=1 \sum_{k=0}^{\infty} P(X=k) = \sum_{k=0}^{\infty} C_{r+k-1}^k p^r (1-p)^k = p^rp^{-r} = 1
但成功概率一致时,负二项分布可以写成rr个独立的几何分布的和,这个性质可以用来计算负二项分布的期望和方差。下面介绍怎么直接计算负二项分布的期望
EX=k=0kP(X=k)=k=0kCr+k1kpr(1p)k EX = \sum_{k=0}^{\infty} kP(X=k) = \sum_{k=0}^{\infty} k C_{r+k-1}^k p^r (1-p)^k
其中kCr+k1kk C_{r+k-1}^k可以被替换为(r+k1)Cr+k2k1(r+k-1)C_{r+k-2}^{k-1}
EX=k=0(r+k1)Cr+k2k1pr(1p)k=rk=0Cr+k2k1pr(1p)k+k=0(k1)Cr+k2k1pr(1p)k=r(1p)k=0Cr+k1kpr(1p)k+k=0(r+k2)Cr+k3k2pr(1p)k=r(1p)+rk=0Cr+k3k2pr(1p)k+k=0(k2)Cr+k3k2pr(1p)k=...=r(1p)+r(1p)2+r(1p)3+...=r(1p)p EX = \sum_{k=0}^{\infty} (r+k-1)C_{r+k-2}^{k-1} p^r (1-p)^k \\=r\sum_{k=0}^{\infty} C_{r+k-2}^{k-1} p^r (1-p)^k + \sum_{k=0}^{\infty} (k-1)C_{r+k-2}^{k-1} p^r (1-p)^k \\ = r(1-p) \sum_{k=0}^{\infty} C_{r+k-1}^{k} p^r (1-p)^k + \sum_{k=0}^{\infty} (r+k-2)C_{r+k-3}^{k-2} p^r (1-p)^k \\ = r(1-p) + r\sum_{k=0}^{\infty} C_{r+k-3}^{k-2} p^r (1-p)^k + \sum_{k=0}^{\infty} (k-2)C_{r+k-3}^{k-2} p^r (1-p)^k \\ = ... \\=r(1-p) + r(1-p)^2 + r(1-p)^3 + ... = \frac{r(1-p)}{p}
负二项随机变量的矩生成函数为
MX(t)=E(etY)=k=0netkCr+k1kpr(1p)k=(1p+pet)r M_X(t) = E(e^{tY}) = \sum_{k=0}^{n} e^{tk} C_{r+k-1}^k p^r (1-p)^k = (1-p+pe^t)^{-r}

超几何分布

有个箱子里有MM个球,其中NN个是白球,其他球是黑球,从中抽出nn个球,其中白球的数量为XX,则XX服从超几何分布。
P(X=k)=CMNnkCNkCMn P(X=k) = \frac{C_{M-N}^{n-k} C_N^k}{C_M^n}
下面给出一个恒等式
CMn=k=0nCMNnkCNk C_M^n = \sum_{k=0}^{n} C_{M-N}^{n-k} C_N^k
这个恒等式叫Vandermonde恒等式,它的证明也比较简单。考虑
(1+t)M=i=0MCMiti (1+t)^M = \sum_{i=0}^M C_M^i t^i
MM写成M=N+(MN)M=N+(M-N)
(1+t)M=(1+t)N(1+t)MNi=0MCMiti=(i=0NCNiti)(i=0MNCMNiti) (1+t)^M = (1+t)^{N}(1+t)^{M-N} \\ \sum_{i=0}^M C_M^i t^i = (\sum_{i=0}^N C_N^i t^i)(\sum_{i=0}^{M-N} C_{M-N}^i t^i)
等式左边tnt^n项的系数为CMnC_M^n,等式右边tnt^n项的系数为
k=0nCMNnkCNk \sum_{k=0}^{n} C_{M-N}^{n-k} C_N^k
同阶项的系数相等,因此上述恒等式成立。超几何分布的归一化条件就是以Vandermonde恒等式为基础的。
k=0nP(X=k)=k=0nCMNnkCNkCMn=CMnCMn=1 \sum_{k=0}^{n} P(X=k) = \sum_{k=0}^{n} \frac{C_{M-N}^{n-k} C_N^k}{C_M^n}= \frac{C_M^n}{C_M^n} = 1
根据这个关系可以推导超几何分布的期望
EX=k=0nkCMNnkCNkCMn EX = \sum_{k=0}^{n} k\frac{C_{M-N}^{n-k} C_N^k}{C_M^n}
先将kCNkkC_N^k替换为NCN1k1NC_{N-1}^{k-1}
EX=Nk=0nCMNnkCN1k1CMn=Nk=0n1CMN(n1)kCN1kCMn=nNMk=0n1CMN(n1)kCN1kCM1n1=nNM EX = N \sum_{k=0}^{n} \frac{C_{M-N}^{n-k} C_{N-1}^{k-1}}{C_M^n} = N \sum_{k=0}^{n-1} \frac{C_{M-N}^{(n-1)-k} C_{N-1}^{k}}{C_M^n} \\= \frac{nN}{M}\sum_{k=0}^{n-1} \frac{C_{M-N}^{(n-1)-k} C_{N-1}^{k}}{C_{M-1}^{n-1}} = \frac{nN}{M}
方差要稍微困难点,这里给出计算二阶原点矩的计算过程
EX2=k=0nk2CMNnkCNkCMn=Nk=0nkCMNnkCN1k1CMn=Nk=0nCMNnkCN1k1CMn+Nk=0n(k1)CMNnkCN1k1CMn=nNM+N(N1)k=0nCMNnkCN2k2CMn=nNM+N(N1)k=0n2CMN(n2)kCN2kCMn=nNM+Nn(N1)(n1)M(M1)k=0n2CMN(n2)kCN2kCM2n2=nNM+Nn(N1)(n1)M(M1) EX^2 = \sum_{k=0}^{n} k^2 \frac{C_{M-N}^{n-k} C_N^k}{C_M^n} = N\sum_{k=0}^{n} k \frac{C_{M-N}^{n-k} C_{N-1}^{k-1}}{C_M^n} \\ = N\sum_{k=0}^{n} \frac{C_{M-N}^{n-k} C_{N-1}^{k-1}}{C_M^n} + N\sum_{k=0}^{n} (k-1) \frac{C_{M-N}^{n-k} C_{N-1}^{k-1}}{C_M^n} \\ = \frac{nN}{M} + N(N-1)\sum_{k=0}^{n} \frac{C_{M-N}^{n-k} C_{N-2}^{k-2}}{C_M^n} \\ = \frac{nN}{M} + N(N-1)\sum_{k=0}^{n-2} \frac{C_{M-N}^{(n-2)-k} C_{N-2}^{k}}{C_M^n} \\ = \frac{nN}{M} + \frac{Nn(N-1)(n-1)}{M(M-1)}\sum_{k=0}^{n-2} \frac{C_{M-N}^{(n-2)-k} C_{N-2}^{k}}{C_{M-2}^{n-2}} \\ = \frac{nN}{M} + \frac{Nn(N-1)(n-1)}{M(M-1)}

发布了20 篇原创文章 · 获赞 0 · 访问量 391
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览