贝塔、伽马分布

最新推荐文章于 2024-05-13 18:21:36 发布

sam-X

最新推荐文章于 2024-05-13 18:21:36 发布

阅读量5w

点赞数 13

分类专栏： PRML学习笔记数学理论文章标签：伽马分布贝塔分布逆伽马分布

本文链接：https://blog.csdn.net/u010945683/article/details/48950063

版权

数学理论同时被 2 个专栏收录

23 篇文章 5 订阅

订阅专栏

PRML学习笔记

2 篇文章 0 订阅

订阅专栏

最近开始自学PRML，为此又补了概率论中的一些知识点。
相较于古典概率通过各种估计手段来确定参数的分布，贝叶斯学派则是使用后验概率来确定，为了方便计算后验概率，引入共轭先验分布来方便计算，这是后话了。
那么一些常见的共轭后验分布有哪些呢？这就引出了这里的主题。有诸如贝塔分布、伽马分布和倒伽马分布等。(先打个坑，后面再补充)

简介

贝塔分布

下面就是 $X \sim Beta(\alpha,\beta)$ 的概率密度函数

f (x) = Γ ( α + β ) Γ ( α ) Γ ( β ) x α - 1 (1 - x) β - 1

$f(x)={ \Gamma(\alpha + \beta) \over \Gamma(\alpha) \Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}$

$E(X)={{\alpha}\over{\alpha+\beta}}$
$Var(X)={{\alpha\beta}\over{(\alpha+\beta)^2(\alpha+\beta+1)}}$

PDF图像
CDF图像

这个式子并不是从天而降，这是有由来的。
最先想构造的概率分布函数是，

f (x) = w x α - 1 (1 - x) β - 1

$f(x)=wx^{\alpha-1}(1-x)^{\beta-1}$
其中，

w $w$ 是一个常数，为了满足概率分布函数的两个条件

x∈[0,1]
- $\int_{0}^{1}f(x)dx=1$
- 因此
  
  f(x)=xα−1(1−x)β−1∫10xα−1(1−x)β−1dx=Γ(α+β)Γ(α)Γ(β)xα−1(1−x)β−1=1B(α,β)xα−1(1−x)β−1
  
  贝塔函数
  
  $B(\alpha,\beta)=\int_{0}^{1}x^{\alpha-1}(1-x)^{\beta-1}dx$
  
  伽马函数
  
  其中 $\Gamma(x)$ 就是伽马函数，此处传送门详解伽马函数历史由来
  
  Γ(θ)=∫∞0xθ−1e−xdx
  
  其中伽马函数有一些性质需要注意
  - $\Gamma(x+1)=x\Gamma(x)$
  - 对于整数 $n$ 来说
    
    $Γ (n) = (n - 1)!$ $\Gamma(n)=(n-1)!$
  - 对于 $x\in{(0,1)}$ ,
    
    $Γ (1 - x) Γ (x) = π sin ( π x )$ ${\Gamma(1-x)\Gamma(x)}={{\pi} \over {\sin(\pi x)}}$
  - $\Gamma({1 \over 2})=\sqrt{\pi}$
  伽马分布
  
  $X \sim \Gamma(k,\theta)$ 的概率密度函数如下
  
  f(x)=xk−1e−x/θθkΓ(k),(k>0,θ>0)
  - $E(x)=k\theta$
  - $Var(x)=k\theta^2$
  倒伽马分布
  
  $X\sim IGa(\alpha,\beta)$
  由 $Y=g(X)={{1}\over{X}}及X\sim \Gamma(k,\theta)$ 推出 $Y$ 的分布，即为倒伽马分布。
  
  fY(y)=fX(g−1(y)|ddyg−1(y)|)=1θkΓ(k)(1y)k+1exp(−1yθ)=1θkΓ(k)y−k−1exp(−1yθ)
  
  用 α 替换 k ,β替换 θ−1 得：
  
  fX(x)=βαΓ(α)x−α−1exp(−βx)
  
  上式即为倒伽马分布的概率密度函数 X∼IGa(α,β) 。
  - $E(X)={\beta\over{\alpha-1}},\alpha\gt1$
  - $D(X)={{\beta^2}\over{(\alpha-1)^2(\alpha-2)}},\alpha\gt2$
  参考资料
  本作品采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。