主题模型（LDA）(二)-公式推导

上一篇文章讲解了LDA的通俗理解，基本没有用任何公式，还给了用gensim做邮件分类的案例，详情请戳：主题模型（LDA）(一)

这篇文章看一下公式式怎么推导出来的。

正经的LDA，主要有以下几个方面：

1. 一个函数：gamma函数
2. 四个分布：二项分布，多项分布，beta分布，狄利克雷分布
3. 一个概念一个理念：共轭先验与贝叶斯框架
4. pLSA,LDA
5. 一个采样：Gibbs采样

我们来看一下它是怎么推导出来的。

共轭先验与共轭分布

---

假定似然函数$p(x|\theta)$已知，问题是选取什么样的先验分布$p(\theta)$和后验分布$p(\theta|x)$，使得他们具有相同的数学形式（参数可以不一样）。如果先验分布和后验分布具有相同的数学形式，则称他们为共轭分布，且先验分布为似然函数的共轭先验分布。

举个例子就是

$$先验分布：p_先 = \nu^a(1-\nu)^b$$ $$后验分布：p_后 = \nu^m(1-\nu)^n$$ 这就是具有相同的数学形式，但参数不一样的情况。

gamma函数

---

对于整数而言：

$$\Gamma(n) = (n-1)!$$ 对于实数： $$\Gamma(x) =\int_0^\infty t^{x-1e^{-t}}d_t$$

二项分布

---

二项分布是由n个独立的是、非重复实验中成功次数的离散概率分布其中每次成功的概率为p，相当于你去求婚，每次求婚都有两种结果，成功或失败，如果求婚一次，则称为伯努利分布，如果求婚n次的话（有点略倒霉呀！），则称为二项分布，记为：X ~ B(n,p),它的概率密度函数为：

$$p( X = k) = C_n^kp^k(1-p)^{n-p} = \frac{n!}{k!(n-k)!}p^k(1-p)^{n-p}$$
分布如图

多项式分布（multinomial distribution）

---

多项式就是二项分布在高维情况下的推广，把求婚的例子改成抛骰子就OK了。

如果用骰子的例子，k=6, n