这个概率公式可以用矩阵表示:
其中”文档-词语”矩阵表示每个文档中每个单词的词频,即出现的概率;”主题-词语”矩阵表示每个主题中每个单词的出现概率;”文档-主题”矩阵表示每个文档中每个主题出现的概率。
给定一系列文档,通过对文档进行分词,计算各个文档中每个单词的词频就可以得到左边这边”文档-词语”矩阵。主题模型就是通过左边这个矩阵进行训练,学习出右边两个矩阵。具体数学推导:http://www.360doc.com/content/16/0428/10/478627_554452907.shtml
LDA的输入是 一堆文本语料 和 主题个数(通
常,K的大小需要在模型训练前指定,而且存在一
定的经验性.确定最优K的简单方法是用不同的K
重复实验,当评价指标如困惑度(perplexity)、语料
似然值、分类正确率等最优时认为此时的K是模型
的最佳选择[3-6].也有作者用非参数贝叶斯的方法来
选择模型的合适主题数目[7-s3,该方法假设主题个数
为无穷多,实际主题个数可以随着语料的规模而变
化,训练结束时的主题个数即K的最佳选择.)输出是主题的 单词概率分布 和 文本的主题概率分布。
还不明白 就看这个:http://www.52analysis.com/shujuwajue/2609.html
爽神的小论文是把每个用户的所有回答 集合起来当成一个文本。 所有用户的回答 当成语料 输入LDA 做 ,做出来文本的主题概率分布 就是 用户的主题概率分布(相当于用户对于每个主题的权威性)。还有主题的单词概率分布。
根据问题的单词分布 乘以 主题的单词分布 得到 问题的 主题分布 。
问题的主题分布 乘以 用户的 主题分布 就是用户对于这个问题的权威度。
用户对于主题的权威度 也可以用 单个主题构建网络 用hits算法计算 图中所有用户对于这个标签的权威性。把每个标签都进行上述计算。