Probability Latent Semantic Analysis (PLSA) 模型 学习笔记

最新推荐文章于 2021-06-17 11:27:45 发布
最新推荐文章于 2021-06-17 11:27:45 发布
阅读量9.9k 收藏 12
点赞数 2
分类专栏： NLP 文章标签： PLSA 主题模型 EM算法 NLP 语义
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/puqutogether/article/details/41720073
版权
本文详细介绍了概率潜在语义分析(PLSA)模型，包括其基本思想——作为一种主题模型，通过两层概率分布建模文档中的主题。PLSA通过EM算法进行推导，并对模型的优缺点进行了分析。尽管存在参数数量随文档增加而线性增长等缺点，但其解决了同义词和多义词问题，并为LSA提供了统计学基础。
摘要由CSDN通过智能技术生成

Probability Latent Semantic Analysis (PLSA) 模型 学习笔记

    

    PLSA是前面LSA的兄弟版，相比于LSA而言，PLSA定义了概率模型，而且每个变量以及相应的概率分布和条件概率分布都有明确的物理解释了。这篇博文我们分三部分来说PLSA：基本思想，EM算法推导，以及优缺点分析。


1.  PLSA的基本思想


    PLSA是一种主题模型topic model，是针对文本中隐含的主题来建模的方法。PLSA就是给定了文档d之后，需要以一定的概率选择与文档相对应的主题z，然后再从主题z中以一定的概率选择单词w。我们用下图来形象说明：

最低0.47元/天 解锁文章
bigface1234fdfg
关注
专栏目录
Topic modeling（主题模型）是一种无监督学习方法，它能够从海量文档中自动发现隐藏的主题结构。主题模型是信息检索、文本分类、分析以及其他自然语言处理任务的基础
程序员光剑
08-06 1917
作者：禅与计算机程序设计艺术Topic modeling（主题模型）是一种无监督学习方法，它能够从海量文档中自动发现隐藏的主题结构。主题模型是信息检索、文本分类、分析以及其他自然语言处理任务的基础。对于文档集而言，主题模型可以用来发现文档的主要主题、评估它们之间的相似性、聚类等，对分析、挖掘潜在的信息提供了很大的帮助。话题模型（英语：Topic model）又称作主题模型或话题识别模型，是一种统计模型，用于对文档集合中的主题进行抽象、系统化、结构化。该模型通过对文档集合中的词汇分布及其上下文关系进行建模，将
The Current State of Deep Learning for Natural Language
最新发布
程序员光剑
08-09 1446
深度学习在自然语言处理领域已成为热门话题。近几年来，深度学习在文本分类、语言模型等任务上取得了不错的成果。然而，目前为止，关于深度学习在自然语言处理领域的最新研究进展，尚缺乏系统性的调研总结。本文旨在系统地回顾并总结这一领域的最新研究进展，梳理其主要概念、原理及其应用。在开始介绍NLP前，首先介绍一下什么是NLP（Natural Language Processing）？
[学习笔记]学习主题模型(Topic Model)和PLSA( probabilistic latent semantic analysis）
xiaopei的博客
05-30 6万+
from: http://www.hxxiaopei.com/?p=71 读了著名的【Google News Personalization Scalable Online CF】，提及到针对用户聚类，利用相似用户性信息计算喜欢的news。其中包含min-hash以及plsi，产生了对plsi的兴趣。 plsi是model-based 推荐算法，属于topic(aspect) mo
Latent Semantic Indexing Model
huobengle
12-03 166
Latent Semantic Indexing Model
主题模型之潜在语义分析（Latent Semantic Analysis）
weixin_34306446的博客
09-17 955
主题模型（Topic Models）是一套试图在大量文档中发现潜在主题结构的机器学习模型，主题模型通过分析文本中的词来发现文档中的主题、主题之间的联系方式和主题的发展。通过主题模型可以使我们组织和总结无法人工标注的海量电子文档。较早的主题模型有混合语言模型（Mixture of Unigram），潜在语义索引（Lantent Semantic Index，LSI），概率潜在语义索引（Probabi...
海量数据挖掘MMDS week4: 推荐系统之隐语义模型latent semantic analysis
皮皮blog
10-19 2260
海量数据挖掘Mining Massive Datasets(MMDs) -Jure Leskovec courses学习笔记 推荐系统Recommendation System之隐语义模型latent semantic analysis {博客内容：推荐系统构建三大方法：基于内容的推荐content-based，协同过滤collaborative filtering，隐语义模型(LFM, l
概率语言模型及其变形系列(1)-PLSA及EM算法
热门推荐
Coding for Dreams
12-20 7万+
本系列博文介绍常见概率语言模型及其变形模型，主要总结PLSA、LDA及LDA的变形模型及参数Inference方法。初步计划内容如下第一篇：PLSA及EM算法第二篇：LDA及Gibbs Samping第三篇：LDA变形模型-Twitter LDA，TimeUserLDA，ATM，Labeled-LDA，MaxEnt-LDA等第四篇：基于变形LDA的paper分类总结第五篇：LDA Gibbs Sa
【推荐算法】DSSM双塔模型：Deep Structured Semantic Models for Web Search using Clickthrough Data
长相忆兮长相忆的专栏
06-17 5844
DSSM，全称Deep Structured Semantic Model，就是我们通常所说的双塔模型，是微软公司提出的一种基于深度网络的语义模型，其核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。 DSSM有很广泛的应用，比如：搜索引擎检索，广告相关性，问答系统，机器翻译等。
PLSA模型详解
10-10
PLSA模型详解, 本文详尽的整理了一下PLSA模型, 有兴趣的可以参考. 里面附带了很多自己的推导.
概率潜在语义分析（ PLSA）详解
zhong_ddbb的博客
05-24 2582
文章目录生成模型共现模型模型性质模型参数与LSA关系PLSA实现算法 概率潜在语义分析（probabilistic latent semantic analysis, PLSA）是一种利用概率生成模型对文本集合进行话题分析的无监督方法。模型最大的特点是用隐变量表示话题，整个模型表示文本生成话题，话题生成单词，从而得到单词—文本共现数据的过程。 假设每个文本由一个话题分布决定，每个话题由一个单词分布决定。潜在语义分析基于非概率模型，概率潜在语义分析基于概率模型。 生成模型 假设有M个单词集合W={w1,w2.
Latent Semantic Analysis
深藏功与名
09-15 1699
潜语义分析LSA介绍 Latent Semantic Analysis (LSA), also known as Latent Semantic Indexing (LSI) literally means analyzing documents to find the underlying meaning or concepts of those documents. If each
PLSA详解推导
ustccyf的专栏
05-21 1690
PLSA的概率图模型如下 其中D代表文档，Z代表隐含类别或者主题，W为观察到的单词，表示单词出现在文档的概率，表示文档中出现主题下的单词的概率，给定主题出现单词的概率。并且每个主题在所有词项上服从Multinomial 分布，每个文档在所有主题上服从Multinomial 分布。整个文档的生成过程是这样的： (1) 以的概率选中文档； (2
plsa 公式推导
march_on的专栏
05-13 2509
plsa中完全数据（complete data）的似然函数： 其中，表示文档i中的第j个单词的主题是否为k，如果为k则为1，否则为0 相应地，对数似然函数如下 然后Q function就是 又有两个约束条件： 下面利用拉格朗日乘法求参数 拉格朗日函数： 然后分别对参数求导： 求解过程：以（1）为例，将（1）变换成如下形
潜在语义分析Latent Semantic Analysis (LSA) *
u014765410的博客
10-14 441
潜在语义分析Latent Semantic Analysis (LSA)
概率潜在语义分析(pLSA) 相关知识
VariableX的博客
05-26 858
文章目录生成模型共现模型模型性质共现模型表示PLSA算法 概率潜在语义分析（PLSA）是一种利用概率生成模型对文本集合进行话题分析的无监督方法。PLSA 模型假设每个文本由一个话题分布决定，每个话题由一个单词分布决定。该模型中的话题是不可直接观测到的，是潜在的隐变量。整个模型表示文本生成话题，话题生成单词，从而得到单词—文本共现数据的过程。 生成模型 假设有M个单词集合W={w1,w2.…,wM}W=\{w_1,w_2.\ldots,w_M\}W={w1​,w2​.…,wM​}，N个文本集合D={d1,d2
PLSA的理解及推导
赵小越的博客
08-09 2918
        plsa对于文本主题的发展，在于其对于lsa进行了概率化，也就是文档的生成过程涉及到了选择主题，然后从主题中选择单词的过程，这二个选择的过程都满足多项式分布的情况。        对于PLSA而言，就是一个典型的EM算法问题呀。主题就是隐含变量，已知变量就是单词，文本的情况。再求解EM算法时，首先要明确极大化的对数似然函数，然后求E步，E步求解中首先要把隐含变量的条件概率求出来，...
小白自总结【pLSA】实验详细记录
越努力，越幸运
02-02 2480
小白记录，如有错误或不妥之处，请大神们赐教嘻嘻嘻 （注：实验数据为POI数据，实验目的是对一定范围内的POI信息进行语义分析，得其主题词——后来才发现用该数据进行pLSA实验其实是不合适的）
王立威教授解析：机器学习与概率图模型入门
"王立威教授的‘机器学习与概率图模型’讲座涵盖了机器学习的基础概念和概率图模型的应用，适合初学者入门学习。" 在机器学习领域，王立威教授首先给出了机器学习的定义，它是一种通过经验E来提升针对特定任务T的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值