机器学习之主题模型

一、主题模型基础相关分布

Beta分布：

Beta分布期望求解

共轭先验分布

Dirichlet分布：

Dirichlet分布的期望

对称Dirichlet分布

二、LDA模型

LDA模型解释样例图

LDA解释：
共有m篇文章，一共涉及了K个主题；
每篇文章(长度为N m )都有各自的主题分布，主题分布是多项分布，该多项分布的参数服从Dirichlet分布，该Dirichlet分布的参数为α；
每个主题都有各自的词分布，词分布为多项分布，该多项分布的参数服从Dirichlet分布，该Dirichlet分布的参数为β ；
对于某篇文章中的第n个词，首先从该文章的主题分布中采样一个主题，然后在这个主题对应的词分布中采样一个词。不断重复这个随机生成过程，直到m篇文章全部完成上述过程。
LDA详细解释

图中K为主题个数，M为文档总数，Nm是第m个文档的单词总数。β是每个Topic下词的多项分布的Dirichlet先验参数，α是每个文档下Topic的多项分布的Dirichlet先验参数。zmn是第m个文档中第n个词的主题，wmn是m个文档中的第n个词。两个隐含变量θ和φ分别表示第m个文档下的Topic分布和第k个Topic下词的分布，前者是k维(k为Topic总数)向量，后者是v维向量(v为词典中term总数)
LDA参数学习
给定一个文档集合，w mn 是可以观察到的已知变量，α和β是根据经验给定的先验参数，其他的变量z mn 、θ、φ都是未知的隐含变量，需要根据观察到的变量来学习估计的。根据LDA的图模型，可以写出所有变量的联合分布：

LDA似然函数：