LDA基础知识系列 ---- (2)Dirichlet 分布

  本节将从Beta分布出发，水到渠成的讲述Dirichlet 分布和Dirichlet-Multinomial共轭，对称Dirichlet 分布的相关内容。

  理解LDA，可以分为下述5个步骤：
一个函数：gamma函数
四个分布：二项分布、多项分布、beta分布、Dirichlet分布
一个概念和一个理念：共轭先验和贝叶斯框架
两个模型：pLSA、LDA
一个采样：Gibbs采样

  上节 LDA基础知识系列 —-共轭先验分布(1)以简单明了的叙述方式，讲述先验概率、似然函数、后验概率、同分布，Beta-Binomial共轭等共轭先验分布内容，对必要的推导，讲述其注意事项，以免跳“坑”。

  本节将从Beta分布出发，水到渠成的讲述Dirichlet 分布和Dirichlet-Multinomial共轭，对称Dirichlet 分布。

本节内容

• Dirichlet 分布
• Dirichlet 分布和LDA的关系。
• Dirichlet-Multinomial共轭
• 对称Dirichlet 分布

Dirichlet 分布

  本小节理解2—>K的推广，那所有的神马将都是水到渠成。come on !2018新年的第一天！
  二项分布—>多项分布
  Beta分布—>Dirichlet 分布

  二项分布往多维推广是多项分布，Beta分布向多维推广是Dirichlet 分布，接下来让我们见证着神奇的转变。
Beta分布概率密度函数：

$$\frac{1}{B\left( {{\alpha }_{1}},{{\alpha }_{2}} \right)}{{P}_{1}}^{{{\alpha }_{1}}-1}{{P}_{2}}^{{{\alpha }_{2}}-1}$$
$$(\ {P}_{1}+ {P}_{2}=1)$$
  若仍利用相同表述形式（注意实际上Beta没有这种表述方式，只是为了方便大家理解）：
Dirichlet分布概率密度函数：

1B(α1,α2,α3,…αk)P1α1−1P2