主题模型——隐含狄利克雷分布总结

最新推荐文章于 2023-12-13 16:27:12 发布

怕狗子的福哥

最新推荐文章于 2023-12-13 16:27:12 发布

阅读量2.5k

点赞数 1

分类专栏：算法总结文章标签：自然语言处理

本文链接：https://blog.csdn.net/qq_45312141/article/details/106091043

版权

LDA（Latent Dirichlet Allocation）是一种无监督学习算法，用于文本挖掘中的主题识别。它基于词袋模型，认为文档由多个主题组成，每个主题又由一组词生成。LDA利用贝叶斯公式、Gamma函数、二项分布、多项分布、beta分布和Dirichlet分布等数学工具进行模型构建，并通过Gibbs采样或变分推断进行求解。此外，LDA的共轭先验分布特性简化了参数估计。LDA广泛应用于文本分类、主题发现和文档相似度计算。

摘要由CSDN通过智能技术生成

1、主题模型LDA简介

隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)，首先由Blei, David M.、吴恩达和Jordan, Michael I于2003年提出，目前在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。

LDA是一种典型的词袋模型，即它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

它是一种主题模型，它可以将文档集中每篇文档的主题按照概率分布的形式给出；

同时是一种无监督学习算法，在训练时不需要手工标注的训练集，需要的仅仅是文档集以及指定主题的数量k即可；

此外LDA的另一个优点则是，对于每一个主题均可找出一些词语来描述它；

主题模型自动分析每个文档，统计文档内的词语，根据统计的信息来断定当前文档含有哪些主题，以及每个主题所占的比例各为多少。

LDA可以被认为是一种聚类算法：

主题对应聚类中心，文档对应数据集中的例子。
主题和文档在特征空间中都存在，且特征向量是词频向量。
LDA不是用传统的距离来衡量一个类簇，它使用的是基于文本文档生成的统计模型的函数。

2、基础知识

一个函数：gamma函数

四个分布：二项分布、多项分布、beta分布、Dirichlet分布

一个概念和一个理念共轭先验和贝叶斯框架

两个模型 pLSA、LDA（文档-主题，主题-词语）

一个采样：Gibbs采样

估计未知参数所采用的不同思想 频率学派、贝叶斯学派

2.1贝叶公式

1、朴素贝叶斯算法原理小结
2、离散贝叶斯
3、连续贝叶斯
4、贝叶斯网
我们知道贝叶斯参数估计的基本过程是:
先验分布 + 数据的知识 = 后验分布
这点其实很好理解，因为这符合我们人的思维方式，比如你对好人和坏人的认知，先验分布为：100个好人和100个的坏人，即你认为好人坏人各占一半，现在你被2个好人（数据）帮助了和1个坏人骗了，于是你得到了新的后验分布为：102个好人和101个的坏人。现在你的后验分布里面认为好人比坏人多了。这个后验分布接着又变成你的新的先验分布，当你被1个好人（数据）帮助了和3个坏人（数据）骗了后，你又更新了你的后验分布为：103个好人和104个的坏人。依次继续更新下去。