LDA 主题模型 学习

LDA 笔记：

一个函数：Gamma 函数
四个分布：二项分布、多项分布，beta分布、Dirichlet分布
一概一理：共轭先验、贝叶斯框架
两个模型：pLSA、LDA
一个采样：Gibbs采样

​ 单词 =》文档 =》 主题
​ 特征 =》简历 =》好坏

Latent Dirichlet Allocation，无监督贝叶斯模型，一种主题模型，可求解文档集中每篇文档的主题的概率分布模型
生成模型 只需要给定文档集 和 指定主题的数量 k，对于生成的每个主题，均可找出一些词语来描述。

​ ·一种典型的词袋模型，一个文档只是一组 单词的集合，不考虑单词的先后关系；
​ ·一篇文档可包含多个主题；
​ ·一个单词由某个主题生成；

贝叶斯公式：
$$P\left(B_i|A\right)=\frac{P\left(B\right)P\left(A|B_i\right)}{{\sum }_{j=1}^{n}P\left(B_j\right)P\left(A|B_j\right)}$$
​ 无监督的贝叶斯模型，一种主题模型

实际上由 条件概率公式 推演而来：
$$\begin{gathered} \text{条件概率公式：}P{\left(B|A\right)}_{A\text{发生的情况下}B\text{的概率}}=\frac{P{\left(AB\right)}_{AB\text{都发生的概率}}}{P\left(A\right){}_{A\text{发生的概率}}} \\ \Rightarrow P\left(AB\right)=P\left(A\right)P\left(B|A\right)=P\left(B\right)P\left(A|B\right)=P\left(BA\right) \\ P\left(B|A\right)=\frac{P\left(AB\right)}{P\left(A\right)}=\frac{P(}{P\left(A\right)} \end{gathered}$$