之前我们介绍了均匀分布与超几何分布,这篇文章我们讨论一些其他在统计中经常使用的分布,首先从二项与相关分布开始。
伯努利试验是一个随机试验,输出为两个相互独立且有穷中的一个,例如成功或失败(男或女,生或死,有缺陷或物缺陷)。当我们独立的执行几次伯努利试验使得每次成功的概率(假设为 p )都相等,那么就得到伯努利序列。
令
即两个输出量成功与失败,分别用1与0表示。
X
的pmf可以写成
我们说
X
满足伯努利分布,
X 的方差为
X
的标准差为
在进行
n
次伯努利试验所得的序列中,令
因为实验室独立的且每次试验中成功与失败的概率分别为
p,1−p
,总概率为
px(1−p)n−x
,所以
X
的pmf(p(x))是
回忆一下,如果
n
是正整数,
那么很明显
p(x)>0
且
因此,
p(x)
满足离散型随机变量
X
pmf的条件,有形如
对
t
的所有实值,二项分布的mgf通过下式很容易算出来
X
的均值
且
因此
且
例1:
令
X
是抛7次均匀硬币后头朝上的总数,
那么
X
的mgf为
均值
μ=np=72
,方差
σ2=np(1−p)=74
,更进一步,我们有
与
例2:
如果随机变量
X
的mgf为
那么
X
满足
这里 μ=np=53,σ2=np(1−p)=109 。
例3:
如果
Y
满足
例4:
随机变量
Y
等于
现在对于每个固定的
ϵ>0
,上面不等式的右边对于充分大的
n
靠近零,即
且
因为对每个固定的 ϵ>0 上式都成立,从这个意义上来说,当 n 充分大时成功的相对频率接近成功的概率。这个结论就是弱大数定律的一个形式。
如果
F(x)
是一个连续的cdf,使得
X
的pdf为
例6:
考虑一个独立重复的随机试验序列,成功概率为
p
。令随机变量
与第
(y+r)
次试验成功概率
p
的乘积,因此
形式为 pY(y) pmf的分布称为负二项分布;任何这样的 pY(y) 称为负二项pmf。该分布的名字来源于这个事实: pY(y) 是 pr[1−(1−p)]−r 展开式中的一般项。
假设我们有几个独立的二项分布,他们有相同的成功概率,那么这些随机变量的和如下面定理所述是二项的,注意mgf方法给出了又快又简单的证明。
定理1:
令
X1,X2,…,Xm
是独立的随机变量,使得
Xi
满足二项
b(ni,p)
分布,其中
i=1,2,…,m
。令
Y=Σmi=1Xi
,那么
Y
满足二项
证明:
利用
Xi
的独立性与
Xi
的mgf,我们可以得到
Y
的mgf如下:
这里
Y
满足
二项分布可以推广到多项分布。令随机试验独立的重复
n
次,每次试验从
其中
xk
是
n−(x1+⋯+xk−1)
的缩写。这就是
k−1
个离散随机变量
X1,X2,…,Xk−1
的多项pmf。为了理解其正确性,注意
x1
个
C1
,
x2
个
C2
,
…
,
xk
个
Ck
的不同排列共有
因此这两个表达式的乘积给出了正确的概率,这与前面多项pmf是一致的。
当
k=3
时,我们常令
X=X1,Y=X2
;那么
n−X−Y=X3
。我们说
X,Y
满足三项分布,
X,Y
的联合pmf为
其中 x,y 是非负整数,满足 x+y≤n , p1,p2,p3 是满足 p1+p2+p3=1 的分数;其余地方 p(x,y)=0 。故 p(x,y) 满足成为离散随机变量 X,Y 联合pmf的条件;即 p(x,y) 是非负的并且在所有满足 p(x,y) 为正的点 (x,y) 上的和等于 (p1+p2+p3)n=1 。
如果
n
是正整数且
所以对于
t1,t2
的所有实数,三项分布的mgf为
X,Y
边缘分布的矩生成函数分别为
与
根据之前提到的定理(假设随机变量
X1,X2
的联合mgf
M(t1,t2)
存在,那么
X1,X2
独立,当且仅当
即联合mgf可以分解成边缘mgf的乘积)可以看出
X,Y
不是独立的随机变量。另外
X
满足
接下来考虑给定
X=x
后
Y
的条件pmf,我们有
那么给定
X=x,Y
的条件分布为
b[n−x,p2/(1−p1)]
,因此给定
X=x,Y
的条件期望是线性函数
另外给定
Y=y,X
的条件分布为
b[n−y,p1/(1−p2)]
所以
一般而言,对
t1,t2,…,tk−1
的所有实值,多项分布的mgf为
因此单变量的边缘pmf是二项形式,两个变量的边缘pmf是三项形式,依次类推。