LDA 主题模型的几种概率分布

学习机器学习模型的时候才发现概率知识缺很多啊啊啊……，还好重新捡起来比学习新东西还是简单很多
把LDA里面的几个基础概率分布简单总结一下。

概率密度函数和概率分布函数

概率密度函数和概率分布函数分别是什么，区别是什么，你还记得吗？嗯，先试着回想一下。以前看到总觉得很简单，就在眼前一闪而过，真正用到的时候就用的很不顺手啊。

概率密度函数

PDF – Probability Density Function
机器学习里面的朴素贝叶斯、EM算法、混合高斯模型、sampling 等都要用到这个东东。
它表述的意义是在某个确定的点（附近）事件发生的可能性。
对离散型随机变量：

$$f_X(x)=p(X=x)$$
对连续型随机变量，存在 $f_X(x)$, 满足
1. $f_X(x)>0$
2. $\int_{-\infty}^{+\infty}f_X(x)=1$
3. $p(a<X<b)=\int_{a}^{b}f_X(x)$

分布函数

CDF – Cumulative Distribution Function
表示随机变量小于等于某一取值 $x$ 的概率。

$$F_X(x)=p(X \leq x)$$
对连续型随机变量

$$F_X(x) = \int_{-\infty}^{x}f_X(x)$$

---

伯努利分布

$X\sim Bernoulli(p)$
这个应该是我们学的最简单的分布函数
就是对单次抛硬币进行建模

$$f(x)=p^x(1-p)^{1-x}\ x=\{0,1\}$$
直观点就是：
$$f\left( x \right) = \left\{ \begin{array}{l} \begin{array}{*{20}{c}} p&{x = 1} \end{array}\\ \begin{array}{*{20}{c}} {1 - p}&{x = 0} \end{array} \end{array} \right.$$

二项式分布

$X\sim Binomial(p,n)$
二项分布就是重复$n$ 次的伯努利实验模型。$n$ 次实验中，一种情况出现$k$ 次， 另一种情况出现 $n-k$ 次，这样的实验结果出现的概率是多少。

$$f(k)=P(X=k|p, n)=C_n^kp^k(1-p)^{(n-k)}\\ =\frac{n!}{k!(n-k)!}p^k(1-p)^{(n-k)}$$

多项式分布

$X\sim Multinormal(\vec{p},n)$
抛硬币只有两种情况发生，如果一件事可能出此案多种结果，比如说掷筛子，那么可以用多项式分布进行建模
设 p⃗ =(