Incorporating Word Correlation Knowledge into Topic Modeling

开始没有仔细看的时候，也不懂MRF的应用，学习细节才知道重点。

论文

简单描述MRF-LDA的场景：首先，假设话题的粉笔θ，以及单词分布β都服从狄利克雷分布，每个单词具有话题标签z。提取单词的关联关系，主要是语义的相似性，用来学习话题的一致性。所以用到了MRF，在潜在话题层。给定文档d和N单词，判断单词对（根据外部知识）创建无向边连接他们的话题标签，获取图G和单词标签。如下图的5个节点，4条边(z1, z3), (z2, z5), (z3, z4), (z3, z5).，

有了图，然后利用MRF，即定义节点上的一元势能和边上的二元势能。其中一元势能即p(zi|θ)，话题多项分布；二元势能鼓励相似单词具有相似（相同）话题分配。

在MRF模型，所有话题分配的联合概率为：

变分推断的参数学习，略