为了解决“一词多义”和“多词一意”的问题,引入“主题”
LDA本质是一个三层贝叶斯网络
1、共轭分布
1、Beta分布是二项分布的共轭先验分布
2、Dirichlet分布是多项分布的共轭先验分布
Dirichlet分布的参数 [α1,α2,....,αn] ,一般 α 都取一样的值。
α=1
均匀分布
α>1
主题分布相等的概率增大
α<1
某一主题突出的概率增大
2、LDA模型
LDA模型框图如下图所示
流程如下:
1、取
α
,用
Dir(α)
采样得到主题分布
vm
2、对
vm
采样得到某一主题
3、取
β
,用
Dir(β)
对每个主题分别采样得到词分布
φk
4、取得到的主题的对应的词分布,
5、在词分布中采一个词
3、LDA问题
LDA问题的已知是:已知词语
w
(可观测),已知先验超参数
LDA问题的所求是:主题z,主题分布 θ ,词分布 φ
4、Gibbs采样
Gibbs采样是一个为词语标记主题的算法。其流程如下:
1、随机为文本中每个词分配主题
2、统计:a.每个主题z下出现词t的数量. b.每个文档m下出现主题z的数量
3、计算
P(zi|zi−1,,w)
,返回步骤2,迭代。