Γ 函数
Γ
函数是阶乘在实数上的推广,定义为:
Γ(x)=∫+∞0tx−1e−t dt
Γ
函数的性质:
Γ(x+1)=xΓ(x)
Γ(n)=(n−1)!
Gamma分布
根据
Γ
函数的定义有:
∫+∞0xα−1e−xΓ(α) dx=1 (∗)
取积分中的函数作为概率密度,就得到了一个形式最简单的Gamma分布,其概率密度函数为:
Gamma(x|α)=xα−1e−xΓ(α)
若将公式 (∗) 中的 x 替换为
∫+∞0(βt)α−1e−βtΓ(α) d(βt)=1
等价于:
∫+∞0βαtα−1e−βtΓ(α) dt=1 (∗∗)
于是就得到了Gamma分布更一般的形式,概率密度函数为:
Gamma(t|α,β)=βαtα−1e−βtΓ(α)
其中, α 为Gamma分布的 shape parameter,主要决定了曲线的形状;而 β 为Gamma分布的 rate parameter 或者 inverse scale parameter,主要决定了曲线有多陡。 Gamma分布的归一化常数恰为 Γ 函数在点 α 处的值 Γ(α) 。
Gamma分布的期望、方差:
E(t)=αβ
D(t)=αβ2
Beta函数
Beta函数的定义:
B(α,β)=∫10xα−1(1−x)β−1 dx
其中
α,β>0
Beta函数性质:
1.对称性
B(α,β)=B(β,α)
2.与 Γ 函数的关系
B(α,β)=Γ(α)Γ(β)Γ(α+β)
其中
α,β>0
Beta分布
根据Beta函数的定义有:
∫10pα−1(1−p)β−1B(α,β) dp=1
上式中取积分中的函数作为概率密度,就得到了Beta分布:
B(p|α,β)=pα−1(1−p)β−1B(α,β)
可以发现
Beta分布的归一化常数恰为Beta函数在
(α,β)
处的值。
Beta 分布的期望、方差:
E(p)=αα+β
D[p]=ab(a+b)2(a+b+1)
Dirichlet分布
Dirichlet(狄利克雷)可以看做是将Beta分布推广到多变量的情形。概率密度函数定义如下
Dir(p⃗ |α⃗ )=1B(α⃗ )∏k=1Kpαk−1k (∗)
其中,
α⃗ =(α1,α2,…,αK)
为Dirichlet分布的参数。满足:
α1,α2,…,αK>0
B(α⃗ ) 表示 Dirichlet分布的归一化常数:
B(α⃗ )=∫∏k=1Kpαk−1k dp⃗
类似于Beta函数有以下等式成立:
B(α⃗ )=Γ(∑Kk=1αk)∏Kk=1Γ(αk)
归一化常数
B(α⃗ )
有时也记为
Δ(α⃗ )
Dirichlet概率密度函数定义在
K−1
维单纯形上,随机变量
p⃗
满足以下条件:
p1,p2,…,pK>0
p1+p2+…+pK=1
Dirichlet分布的期望为:
E(p⃗ )=(α1∑Kk=1αk,α2∑Kk=1αk,…,αK∑Kk=1αk)