潜在狄利克雷分布（LDA）初探

潜在狄利克雷分布（Latent Dirichlet Allocation, LDA），是一种无监督学习算法，用于识别文档集中潜在的主题词信息。在训练时不需要手工标注的训练集，需要的仅仅是文档集以及指定主题的数量 k 即可。对于每一个主题均可找出一些词语来描述它。

LDA是一种典型的词袋模型，即它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

多项式分布与狄利克雷分布

狄利克雷分布是多项式分布的共轭先验概率分布。

多项式分布

假设重复进行$n$次独立随机试验，每次试验可能出现的结果有$k$种，第$i$种结果出现的概率为$p_i$，第$i$种结果出现的次数为$n_i$，随机变量$X=(X_1,X_2,\dots ,X_k)$ 表示试验所有可能的结果的次数，$X_i$表示第$i$种结果出现的次数。那么随机变量X服从多项分布：
$$P(X_1=n_1,X_2=n_2,\dots ,X_k=n_k)=\frac{n!}{n_1!n_2!\dots n_k!}{p}_1^{n_1}{p}_2^{n_2}\dots p_k^{n_k}$$
其中$p=(p_1,p_2,...,p_k)，{\sum }_{i=1}^k{p}_i$