Gaussian LDA(1): LDA回顾以及变分EM

最新推荐文章于 2022-04-15 20:58:01 发布

原创

最新推荐文章于 2022-04-15 20:58:01 发布 · 7.6k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#主题模型 #LDA #变分EM

本文深入探讨Gaussian LDA，回顾LDA模型，并详细阐述在主题-词分布上施加Dirichlet先验的变分EM算法推导。文章基于Blei的2003年JMLR论文，对原始LDA模型进行了扩展。

Latent Dirichlet Allocation (LDA)是一个主题模型，能够对文本进行建模，得到文档的主题分布。常用的模型参数估计方法有Gibbs Sampling和Variational Inference，网上有非常多关于LDA的介绍，最为经典的例如Rickjin的《LDA数学八卦》。本文旨在推导变分EM的全部过程。

转载请注明出处：http://blog.csdn.net/u011414416/article/details/51168242

本文参考了Blei在2003JMLR上发表的LDA论文，Blei文中并没有关于对beta加了先验的情况进行推导。本文的推导基于smoothed LDA（即对主题-词分布beta也施加了Dirichlet先验eta）。如有错误，欢迎指正。