xuqn0606的博客

Gibbs采样过程Gibbs采样可以从复杂的概率分布中生成数据，只需要知道每个分量相对其他分量的条件下就可以进行采样。具体可以看这篇博客　　LDA的gibbs采样步骤是：初始随机给每个文档的每个词赋予一个主题，统计词与主题的信息得到n⃗k\vec n_knk​和n⃗m\vec n_mnm​的值，然后计算对每个词wiw_iwi​(这里为方便,将wiw_iwi​代替wm,nw_{m,n}wm,n​...

#目标：研究文档中文字的产生过程，属于机器学习中的生成模型，一般认为当写一篇文档时，会先根据一定的概率选定主题，然后根据与选定主题相关的概率生成文字。如果按照频率学派的思想，一篇文章写每个词时选择主题的概率分布与每个主题下词的概率分布是确定的。但是LDA是贝叶斯学派思想。...

LDA主题模型(一)基本概念LDA主题模型(二)Gibbs采样方法LDA主题模型(三)变分方法变分推断变分推断的过程类似于EM过程，区别在于　　EM：计算隐变量的后验概率期望得到下界　　变分：计算KL散度得到下界　　具体关于变分的讲解网上有很多，我看的只是一知半解因此贴上一篇我觉得还可以的博客LDA的变分推断还是回到开始，看LDA的模型图　　在这个模型中，我们有观测值wm,n...