本节将从Beta分布出发,水到渠成的讲述Dirichlet 分布和Dirichlet-Multinomial共轭,对称Dirichlet 分布的相关内容。
理解LDA,可以分为下述5个步骤:
一个函数:gamma函数
四个分布:二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理念:共轭先验和贝叶斯框架
两个模型:pLSA、LDA
一个采样:Gibbs采样
上节 LDA基础知识系列 —-共轭先验分布(1)以简单明了的叙述方式,讲述先验概率、似然函数、后验概率、同分布,Beta-Binomial共轭等共轭先验分布内容,对必要的推导,讲述其注意事项,以免跳“坑”。
本节将从Beta分布出发,水到渠成的讲述Dirichlet 分布和Dirichlet-Multinomial共轭,对称Dirichlet 分布。
本节内容
- Dirichlet 分布
- Dirichlet 分布和LDA的关系。
- Dirichlet-Multinomial共轭
- 对称Dirichlet 分布
Dirichlet 分布
本小节理解2—>K的推广,那所有的神马将都是水到渠成。come on !2018新年的第一天!
二项分布—>多项分布
Beta分布—>Dirichlet 分布
二项分布往多维推广是多项分布,Beta分布向多维推广是Dirichlet 分布,接下来让我们见证着神奇的转变。
Beta分布概率密度函数:
1B(α1,α2)P1α1−1P2α2−1
( P1+P2=1)
若仍利用相同表述形式(注意实际上Beta没有这种表述方式,只是为了方便大家理解):
Dirichlet分布概率密度函数:
1B(α1,α2,α3,…αk)P1α1−1P2