LDA及 专家发现小论文



首先，可以用生成模型来看文档和主题这两件事。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到的。那么，如果我们要生成一篇文档，它里面的每个词语出现的概率为：

        这个概率公式可以用矩阵表示：

        其中”文档-词语”矩阵表示每个文档中每个单词的词频，即出现的概率；”主题-词语”矩阵表示每个主题中每个单词的出现概率；”文档-主题”矩阵表示每个文档中每个主题出现的概率。

        给定一系列文档，通过对文档进行分词，计算各个文档中每个单词的词频就可以得到左边这边”文档-词语”矩阵。主题模型就是通过左边这个矩阵进行训练，学习出右边两个矩阵。具体数学推导：http://www.360doc.com/content/16/0428/10/478627_554452907.shtml

       LDA的输入是 一堆文本语料 和 主题个数（通
常，K的大小需要在模型训练前指定，而且存在一
定的经验性．确定最优K的简单方法是用不同的K
重复实验，当评价指标如困惑度(perplexity)、语料
似然值、分类正确率等最优时认为此时的K是模型
的最佳选择[3-6]．也有作者用非参数贝叶斯的方法来
选择模型的合适主题数目[7-s3，该方法假设主题个数
为无穷多，实际主题个数可以随着语料的规模而变
化，训练结束时的主题个数即K的最佳选择．）输出是主题的 单词概率分布 和 文本的主题概率分布。

还不明白 就看这个：http://www.52analysis.com/shujuwajue/2609.html

爽神的小论文是把每个用户的所有回答 集合起来当成一个文本。 所有用户的回答 当成语料 输入LDA 做 ，做出来文本的主题概率分布 就是 用户的主题概率分布（相当于用户对于每个主题的权威性）。还有主题的单词概率分布。

根据问题的单词分布 乘以 主题的单词分布 得到 问题的 主题分布 。

问题的主题分布 乘以 用户的 主题分布  就是用户对于这个问题的权威度。

用户对于主题的权威度 也可以用 单个主题构建网络 用hits算法计算 图中所有用户对于这个标签的权威性。把每个标签都进行上述计算。