关闭

机器学习 之 LDA主题模型

标签: 机器学习
1961人阅读 评论(1) 收藏 举报
分类:

今天终于开始啃LDA了,同时恶补一下概率分布方面的东西。

先放上来大神学习LDA的五个步骤:
1. 一个函数:gamma函数
2. 四个分布:二项分布、多项分布、beta分布、Dirichlet分布
3. 一个概念和一个理念:共轭先验和贝叶斯框架
4. 两个模型:pLSA、LDA
5. 一个采样:Gibbs采样

LDA(Latent Dirichlet Allocation)

  • 全称是隐含狄利克雷分布
  • 一种主题模型
  • 将文档集中每篇文档的主题以概率的形式给出
  • 可以用于主题聚类或分本分类
  • 一种典型的词袋模型(一个文档有很多词,词是无序的)
  • 一篇文档可以含有很多主题
  • 文档的每个词都由一个主题生成

    在LDA中,一篇文档是这样生成的:
    LDA生成文档

四种概率分布

下面就分别介绍一下二项分布、多项式分布、β分布和狄利克雷分布。

二项分布到多项式分布

二项分布是伯努利分布的扩展版本,多项式分布则又是二项分布的扩展版本。伯努利分布是一个离散型的随机分布,做一次实验,实验的结果只有两个,而二项分布则将实验次数扩展到了多个,而多项式分布则将实验的结果也扩展到了多个。

β分布到狄利克雷分布

狄利克雷分布是β分布在高维度上的推广。

共轭先验分布

  • 在贝叶斯概率论中,如果后验概率P(θ|x)和先验概率p(θ)满足同样的分布律,那么,先验分布和后验分布被叫做共轭分布,同时,先验分布叫做似然函数的共轭先验分布。
  • β分布是二项式分布的共轭先验分布:观测到的数据符合二项分布,参数的先验分布和后验分布属于β分布的情况,就是Beta-Binomial共轭。换言之,Beta分布是二项式分布的共轭先验概率分布。
  • 狄利克雷分布式多项式分布的共轭先验分布:观测到的数据符合多项式分布,参数的先验分布和后验分布属于狄利克雷分布的情况,就是Dirichlet-Multinomial共轭。换言之,狄利克雷分布式多项式分布的共轭先验分布。

几个基础模型

一元文法统计模型(Unigram model)

这里写图片描述

这里写图片描述
Wn是文本中第n个词,p(Wn)表示这个词的先验概率。

这个模型假设文本中的词服从多项式分布,所以p是服从多项式分布的参数,而狄利克雷分布是多项式分布的先验分布,因此α服从狄利克雷分布。

Mixture of Unigram model

这里写图片描述

pLSA模型

pLSA的文档生成模型

pLSA生成文档的主要过程就是:先选定文档生成主题,再根据主题生成词。

具体如下:
plsa

主题建模

利用看到的文档推断隐藏的主题的过程。
这里写图片描述
在pLSA中,文档d和词w是我们得到的样本,要推断未知的主题。(样本随机,参数未知但固定,频率派的思想)
这里写图片描述

求解的过程实在太复杂了,总结下来基本是这样:

这里写图片描述

LDA

之前说到pLSA是频率派的思想,那么LDA就是贝叶斯派的思想。它认为主题分布和词分布也是不确定了,为了得到他们,需要用他们的先验分布(Dirichlet)来进行估计。所以,LDA的过程是这样的:
这里写图片描述

pLSA与LDA的对比

概率图

这里写图片描述

参数估计方法

这里写图片描述

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:50939次
    • 积分:1259
    • 等级:
    • 排名:千里之外
    • 原创:75篇
    • 转载:12篇
    • 译文:0篇
    • 评论:5条
    最新评论