最近开始自学PRML,为此又补了概率论中的一些知识点。
相较于古典概率通过各种估计手段来确定参数的分布,贝叶斯学派则是使用后验概率来确定,为了方便计算后验概率,引入共轭先验分布来方便计算,这是后话了。
那么一些常见的共轭后验分布有哪些呢?这就引出了这里的主题。有诸如贝塔分布、伽马分布和倒伽马分布等。(先打个坑,后面再补充)
简介
贝塔分布
下面就是
X∼Beta(α,β)
的概率密度函数
- E(X)=αα+β
- Var(X)=αβ(α+β)2(α+β+1)
这个式子并不是从天而降,这是有由来的。
最先想构造的概率分布函数是,
其中, w 是一个常数,为了满足概率分布函数的两个条件
x∈[0,1] - ∫10f(x)dx=1
因此
f(x)=xα−1(1−x)β−1∫10xα−1(1−x)β−1dx=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1=1B(α,β)xα−1(1−x)β−1贝塔函数
B(α,β)=∫10xα−1(1−x)β−1dx
伽马函数
其中 Γ(x) 就是伽马函数,此处传送门详解伽马函数历史由来
Γ(θ)=∫∞0xθ−1e−xdx其中伽马函数有一些性质需要注意
- Γ(x+1)=xΓ(x)
对于整数 n 来说
Γ(n)=(n−1)! 对于 x∈(0,1) ,
Γ(1−x)Γ(x)=πsin(πx)- Γ(12)=π√
伽马分布
X∼Γ(k,θ) 的概率密度函数如下
f(x)=xk−1e−x/θθkΓ(k),(k>0,θ>0)E(x)=kθ
Var(x)=kθ2
倒伽马分布
X∼IGa(α,β)
由 Y=g(X)=1X及X∼Γ(k,θ) 推出 Y 的分布,即为倒伽马分布。
fY(y)=fX(g−1(y)|ddyg−1(y)|)=1θkΓ(k)(1y)k+1exp(−1yθ)=1θkΓ(k)y−k−1exp(−1yθ)
用 α 替换 k ,β 替换 θ−1 得:
fX(x)=βαΓ(α)x−α−1exp(−βx)
上式即为倒伽马分布的概率密度函数 X∼IGa(α,β) 。E(X)=βα−1,α>1
D(X)=β2(α−1)2(α−2),α>2
参考资料
本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。