一篇文章有n个主题组成 一个主题有f个词组成
而根据条件概率 f个词组成一篇文章的概率 是在 连乘 每一个词在某个主题中的条件概率 乘 该主题在该文档中的条件概率,根据极大似然估计 取对数求导 和Jensen不等式
利用em算法
解释一下什么是em算法
分为e和m两部分
E是给主题的条件下词的条件概率的最大值 和在文档的条件下主题的条概假定一个值 然后求主题的后验概率 解得 词 主题 和文档的概率
M是将E求得的结果带入求极大似然函数 在主题的条件下词的条件概率的最大值 和在文档的条件下主题的条概最大值 并且要满足主题下所有词的概率之和为1 文档中所有主题的概率之和为1 两个约束条件 根据拉格朗日乘子法的得到在主题的条件下词的条件概率的最大值 和在文档的条件下主题的条概最大值 再返回E 直到趋近收敛