LSA及pLSA

最新推荐文章于 2021-10-17 19:29:21 发布
原创 最新推荐文章于 2021-10-17 19:29:21 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据挖掘

本文介绍了奇异值分解(SVD)在潜在语义索引(LSI)中的应用,包括LSI的基本概念、PLSA及其EM算法推导等内容,旨在帮助读者理解如何使用SVD进行文本建模和文档相似度计算。
LSA、pLSA、LDA、NMF、BERTopic、Top2Vec进行主题建模
Mr数据杨
01-04 5437
在自然语言处理（NLP）中，主题建模是一种技术，用于从文本数据中发现隐藏的语义主题（或主题）。这是一个无监督机器学习问题，即在没有标签或标签的情况下学习模式。主题建模的应用非常广泛，可用于搜索引擎、情感分析、新闻聚类和摘要生成等许多任务。在这里将探讨主题建模的不同方法，包括传统的统计方法和最新的基于深度学习的方法。我们还将介绍每种方法的优点和缺点，并提供端到端的 Python 示例。
文本表示模型(1)：主题模型LSA、pLSA、LDA
SunnyGJing’s blog
11-18 3939
目录文本表示模型主题模型LSApLSALDA 文本表示模型 文本表示模型可分为以下几种： 基于one-hot、tf-idf、textrank等的bag-of-words； 基于计数的，主题模型，如LSA(SVD)、pLSA、LDA 基于预测的，静态词向量，如Word2Vec、FastText、Glove 基于大规模预训练的，动态词表示，如BERT、T5 本文讲解第二种“主题模型”。 主题模型 主题模型的目标是在大量的文档中自动发现隐含的主题信息 LSA LSA（Latent Semantic Analy
LSA/PLSA
weixin_34064653的博客
01-10 284
引子 Bag-of-Words 模型是NLP和IR领域中的一个基本假设。在这个模型中，一个文档(document)被表示为一组单词(word/term)的无序组合，而忽略了语法或者词序的部分。BOW在传统NLP领域取得了巨大的成功，在计算机视觉领域(Computer Vision)也开始崭露头角，但在实际应用过程中，它却有一些不可避免的缺陷，比如： 稀疏性(Sparseness): 对于大词典，...
PLSA和LSA的调研
11-27
PLSA和LSA的调研
概率潜在语义分析（PLSA）（probabilistic latent semantic analysis）
大风车
10-07 1720
概率潜在语义分析，听名字里边的‘概率’一词，就知道这和一般的统计（频数统计/tfidf 统计）不一样。我们知道LSA是对单词-文本矩阵（频数或tfidf组成的矩阵）进行奇异值分解，LSA的最重要的中心思想就是引入话题维度，将一个文本的单词向量降维转化为话题向量，一是解决了稀疏矩阵中很多 0 值带来的计算文本相似度不准确的问题，二是解决了单词的多词一义性和一词多义性的问题。LSA可以参考之前写过的一篇 ：潜在语义分析（LSA）（latent semantic analysis） 那LSA的缺点是什么？在P.
PLSA
zhouqiang128
07-01 345
1. 引子 Bag-of-Words 模型是NLP和IR领域中的一个基本假设。在这个模型中，一个文档(document)被表示为一组单词(word/term)的无序组合，而忽略了语法或者词序的部分。BOW在传统NLP领域取得了巨大的成功，在计算机视觉领域(Computer Vision)也开始崭露头角，但在实际应用过程中，它却有一些不可避免的缺陷，比如： 稀疏性(Sparseness): ...
LSA & PLSA
zhoubl668的专栏：远帆，梦之帆！
10-26 2464
【Latent semantic analysis】 LSA最初是用在语义检索上，为了解决一词多义和一义多词的问题： 1.一词多义： 美女和PPMM表示相同的含义，但是单纯依靠检索词“美女”来检索文档，很可能丧失掉那些包含“PPMM”的文档。 2.一义多词：如果输入检索词是多个检索词组成的一个小document，例如“清澈 孩子”，那我们就知道这段文字主要想表达concept是和道德相关的，
基于LSA和PLSA的网页聚类算法研究.txt
10-07
基于LSA和PLSA的网页聚类算法研究.txt
基于LSA和PLSA的网页聚类算法研究.pdf
10-07
基于LSA和PLSA的网页聚类算法研究.pdf
主题模型--LSA,PLSA，LDA
weixin_36378508的博客
09-30 1446
预备知识：SVD分解 主题模型历史 Papadimitriou、Raghavan、Tamaki和Vempala在1998年发表的一篇论文中提出了潜在语义索引。1999年，Thomas Hofmann又在此基础上，提出了概率性潜在语义索引（Probabilistic Latent Semantic Indexing，简称PLSI）。 隐含狄利克雷分配LDA可能是最常见的主题模型，是一般化的PLSA，由Blei, David M.、吴恩达和Jordan, Michael I于2003年提出。LDA允许文档拥有
LSA和PLSA
sinat_32043495的博客
12-11 4776
1.词袋模型    词袋模型(BOW, Bag-of-Words) 模型是NLP领域中的一个基本假设，一个文档(document)被表示为一组单词(word/term)的无序组合，而忽略了语法或者词序的部分,存在缺陷:   稀疏性: 对于大词典，尤其是包括了生僻字的词典，文档稀疏性不可避免；   多义词: BOW模型只统计单词出现的次数，而忽略了一个词可能存在多种含义，一词多义；   同义
[自然语言处理] LSA与pLSA（1）
热门推荐
1.02^365的成长裂变
09-10 1万+
1. 引子Bag-of-Words 模型是NLP和IR领域中的一个基本假设。在这个模型中，一个文档(document)被表示为一组单词(word/term)的无序组合，而忽略了语法或者词序的部分。BOW在传统NLP领域取得了巨大的成功，在计算机视觉领域(Computer Vision)也开始崭露头角，但在实际应用过程中，它却有一些不可避免的缺陷，比如：稀疏性(Sparseness): 对于大词典，...
潜在语义分析 (LSA)，概率潜在语义分析 (PLSA)
连理o的博客
10-17 2003
目录单词向量空间与话题向量空间单词向量空间非负矩阵分解 (non-negative matrix factorization, NMF) 潜在语义分析是一种无监督学习方法，主要用于文本的话题分析，其特点是通过矩阵分解发现文本与单词之间的基于话题的语义关系 单词向量空间与话题向量空间 单词向量空间 文本信息处理的一个核心问题是对文本的语义内容进行表示，并进行文本之间的语义相似度计算 (e.g. 文本信息检索、文本数据挖掘) 非负矩阵分解 (non-negative matrix factorizati
【机器学习】潜在语义分析LSA和PLSA
Mankind的博客
01-15 1237
666
[自然语言处理] LSA与pLSA（2）
1.02^365的成长裂变
09-10 4240
EM求解在似然值L的表达式中存在对数内部的加运算，所以球pLSA最大似然解的问题没有闭式解，我们只能求助于EM算法，下面我们从最简单的启发式的角度推导出pLSA的求解过程。既然似然值L无法直接求解最大值，那么我们转而优化其下界F，并通过迭代不断的将此下界提高，那么最终得到的解即为L近似最大解， 当然，此过程中寻求的下界F要求尽量紧确。因为：0<p(zk|di,wj)<1,∑Kk=1p(...
LSA，pLSA原理及其代码实现
weixin_30617561的博客
12-25 702
一. LSA 1. LSA原理 LSA(latent semantic analysis)潜在语义分析，也被称为 LSI(latent semantic index)，是 Scott Deerwester, Susan T. Dumais 等人在 1990 年提出来的一种新的索引和检索方法。该方法和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和...
topic model (LSA、PLSA、LDA)
lmm6895071的专栏
07-11 7090
Topic模型概要： LFM（依赖于矩阵分解） LSA(LSI)（SVD分解） PLSI（EM算法优化，频率学派，参数未知但固定） LDA（在PLSA基础上加上贝叶斯框架，α\alpha, β\beta ~dirichlet分布,分别作为主题-文档和词-主题的先验分布；贝叶斯学派的特点是参数是随机变化的，但是服从某个分布，不断的学习新的知识，形成后验） 介绍： LFM、
自然语言处理之PLSA
大鲸的专栏
07-08 1148
本文介绍的PLSA(Probabilistic Latent Semantic Analysis, 概率潜在语义分析)由LSA发展而来。LSA使用线性代数方法，对document-word矩阵进行SVD分解。PLSA则使用了一个概率图模型，引入了一个隐变量topic（可以认为是文档的主题），然后进行统计推断。 为何提出PLSA 在语义分析问题中，存在同义词和一词多义这两个严峻的问题，L
理解LSA与PLSA：模型解析与应用
"PLSA和LSA的调研" 在信息检索和自然语言处理领域，PLSA（概率潜在语义分析）和LSA（潜在语义分析）是两种重要的技术，它们都致力于理解和揭示文本数据中的隐藏语义结构。本文主要探讨了这两种方法的基本概念、特点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值