Latent Semantic Analysis (LSA) 模型 学习笔记

最新推荐文章于 2023-02-16 17:06:21 发布
最新推荐文章于 2023-02-16 17:06:21 发布
阅读量6.4k 收藏 3
点赞数 3
分类专栏： NLP 文章标签： 数据挖掘 NLP LSA SVD 语义
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/puqutogether/article/details/41696295
版权
本文介绍了LSA（Latent Semantic Analysis）模型，探讨了其在文本挖掘中的应用，如解决一词多义问题。通过奇异值分解（SVD）进行降维，构建低维隐含语义空间。同时，总结了LSA模型的优缺点，包括降维效果及SVD计算的耗时问题。
摘要由CSDN通过智能技术生成

Latent Semantic Analysis (LSA) 模型 学习笔记

    

    Latent Semantic Analysis 模型，隐性语义分析，也就是我们常说的LSA模型。后面还有他的兄弟PLSA和LDA模型，这个我们后面再说。这几个都是NLP中比较经典的模型！学习这个模型，主要总结到了三个方面：LSA模型可以应用在哪儿？LSA的理论部分，以及LSA的优缺点分析。


1. LSA的应用


    LSA可以在VSM中降低样本的维度，并且可以从文本中发现隐含的语义维度。

   在VSM中，文档被表示成由特征词出现的概率组成的多位向量，这个方法的好处就是可以把一个文本转化成数值向量，然后做一些相似度计算，聚类分类等等。

    但是，在VSM中，无法处理一词多义和一义多词问题。例如，在VSM模型中，“被子”和“被褥”是两个完全不同的

最低0.47元/天 解锁文章
bigface1234fdfg
关注
专栏目录
LSA (Latent Semantic Analysis) & PLSA (Probability Latent Semantic Analysis)
cuiyanws的专栏
12-20 4171
自然语言和文本处理是人工智能和机器学习方面的一个重大的挑战，在这个领域中的任何巨大进步都会对信息检索，信息过滤，智能接口，语言识别，自然语言处理，机器学习产生重大的影响。机器学习的主要难点在于“被阐述”的词法和“真正要表达”的语义的区别。产生这个问题的原因主要是：1.一个单词可能有多个意思和多个用法。2. 同义词和近义词，而且根据不同的语境或其他因素，原本不同的单词也有可能表示相同的意思。 LSA是处理这类问题的著名技术，其主要思想就是映射高维向量到潜在语义空间，使其降维。LSA的目标就是要寻找到
主题模型（一）LSA（LSI）
上帝是个娘们的博客
09-27 3289
先考虑这样一个问题，给定若干篇文档集合，怎么从中找出最相似的两篇？ 相似性可以由余弦距离衡量。余弦距离公式： cos(a→,b→)=a→∗b→∣a∣∗∣b∣ cos(\overrightarrow{a}, \overrightarrow{b}) = { \overrightarrow{a}*\overrightarrow{b} \over |a|*|b| } cos(a,b)=∣a∣∗∣b∣a∗b​ 因此只要把文档表示成向量就可以用余弦距离来衡量了。 在介绍LSA之前，先了解一下向量空间模型。 向量空间
主题模型--LSA
weixin_36378508的博客
09-30 1183
利用SVD分解 行代表单词在每篇文档中出现的次数，列代表一篇文档中出现词语的分布。 矩阵A选取其中特征值较大的r个并排序，这样USVT就可以近似表示矩阵A。 对于矩阵U，每一列代表一个潜语义，这个潜语义的意义由m个单词按不同权重组合而成。因为U中每一列相互独立，所以r个潜语义构成了一个语义空间。 S中每一个奇异值指示了该潜语义的重要度。 VT中每一列仍然是一篇文档，但此时文档被映射了语义空间。其大小远小于A。 有了VT，我们就相当于有了矩阵A的另外一种表示，之后我们就可以使用VT代替A进行之后的工作
主题模型对比：LSA、pLSA、LDA
SHOUGOUGOU的专栏
08-05 2331
https://zhuanlan.zhihu.com/p/31470216 前言 本篇博文将详细讲解LDA主题模型，从最底层数学推导的角度来详细讲解，只想了解LDA的读者，可以只看第一小节简介即可。PLSA和LDA非常相似，PLSA也是主题模型方面非常重要的一个模型，本篇也会有的放矢的讲解此模型。如果读者阅读起来比较吃力，可以定义一个菲波那切数列，第 f(n) = f(n-1) + f(n-2) 天再阅读一次，直到这个知识点收敛。如果读者发现文章中的错误或者有改进之处，欢迎交流。 1. 简介 .
主题（话题）模型LSA/PLSA/LDA简述
m0_37584687的博客
03-12 803
主题（话题）模型LSA/PLSA/LDA简述 0. 预定义 w 表示词，V 表示词表大小（固定值）。 z 表示主题，K 表示主题数量。 D = (d1,d2,...,dM)(d_1, d_2, ..., d_M)(d1​,d2​,...,dM​)表示语料库，M 表示文档数量。 d = (w1,w2,...,wN)(w_1,w_2,...,w_N)(w1​,w2​,...,wN​)表示一篇文档，N 为文档中词的数量。 注意话题模型是词袋模型，词之间并没有顺序。 狄利克雷分布Dirichlet(α→\over
Probability Latent Semantic Analysis (PLSA) 模型 学习笔记
bigfacesafdasgfewgf
12-04 9904
PLSA是前面LSA的兄弟版，相比于LSA而言，PLSA定义了概率模型，而且每个变量以及相应的概率分布和条件概率分布都有明确的物理解释了。这篇博文我们分三部分来说PLSA：基本思想，EM算法推导，以及优缺点分析。
1.one-hot representation与distributed representation学习笔记
Elmo66的博客
12-19 1万+
词表示： 高维数据可以转换为连续的实数real valued概念向量，从而有效地从数据中捕获其潜在关系。例如，肺炎pneumonia和支气管炎bronchitis显然比肺炎和肥胖obesity更相关。在one-hot coding中，像这种不同代码之间的关系不能表示。 one-hot coding扩展： 考虑一个词表V，里面的每一个词 wi都有一个编号 i∈{1,...,|V|}，那么词 w
机器学习实战第4章 利用SVD简化数据 学习笔记
Zoo0ooey的博客
08-21 330
目录SVD概述SVD概念奇异值数目SVD降维SVD应用基于协同过滤的推荐系统相似度计算推荐引擎的评价餐馆菜肴推荐引擎基于SVD的图像压缩 SVD概述 SVD概念 奇异值：奇异值和矩阵的特征值有关系。这里的奇异值Data*DataT特征值的平方根。 奇异值分解：SVD是矩阵分解的一种类型，用于提取信息，可以把SVD看成是从噪声数据中抽取相关特征。SVD将原始的数据集矩阵Data分解成三个矩阵U、Σ和VT。 Datam∗n=Um∗mΣm∗nVTn∗n Data_{m*n} = U_{m*m} Σ_{
机器学习实战学习笔记（十三）利用SVD简化数据
The wind of freedom blows
11-15 486
PS：该系列数据都可以在图灵社区（点击此链接）中随书下载中下载（如下） 1 SVD的应用 奇异值分解 优点：简化数据，去除噪声，提高算法的结果。 缺点：数据的转换可能难以理解。 适用数据类型：数值型数据。 1.1 隐形语义索引   最早的SVD应用之一就是信息检索。我们称利用SVD的方法为隐性语义...
An Introduction to Latent Semantic Analysis
12-21
An Introduction to Latent Semantic Analysis Thomas K Landauer Department of Psychology University of Colorado at Boulder, Peter W. Foltz Department of Psychology New Mexico State University
latent semantic analysis
05-09
LSA(latent semantic analysis)潜在语义分析，也被称为 LSI(latent semantic index)，是 Scott Deerwester, Susan T. Dumais 等人在 1990 年提出来的一种新的索引和检索方法。该方法和传 统向量空间模型(vector space model)一样使用向量来表示词(terms)和文档(documents)，并通 过向量间的关系(如夹角)来判断词及文档间的关系；而不同的是，LSA 将词和文档映射到潜 在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度。
cs224u 向量空间模型之降维(LSA)
段智华的博客
02-15 1458
cs224u 向量空间模型之降维（Vector-space models: dimensionality reduction） 降维的目的是消掉VSM中的相关性，捕获高阶共现，从而改善整体空间。例如，gnarly和wicked是俚语的经常出现的形容词，我们希望它们有一个良好的VSM相似性。然而，gnary是加州人常用的，wicked是波斯顿人常用的，它们不太可能经常出现在同一个文本中，之前的方法...
潜在语义分析Latent semantic…
nuoline的专栏
02-25 2050
潜语义分析LSA介绍 Latent Semantic Analysis (LSA), also known as Latent Semantic Indexing (LSI) literally means analyzing documents to find the underlying meaning or concepts of those documents. If each word
潜在语义分析Latent semantic analysis note(LSA)原理及代码实现
xiaomin1991222的专栏
03-28 401
文章参考：http://blog.sina.com.cn/s/blog_62a9902f0101cjl3.html   Latent Semantic Analysis (LSA)也被叫做Latent Semantic Indexing(LSI)，从字面上的意思理解就是通过分析文档去发现这些文档中潜在的意思和概念。假设每个词仅表示一个概念，并且每个概念仅仅被一个 词所描述，LSA将非常简单...
LSA(Latent semantic analysis)
fkyyly的专栏
11-30 2万+
LSA最初是用在语义检索上，为了解决一词多义和一义多词的问题： 1.一词多义： 美女和PPMM表示相同的含义，但是单纯依靠检索词“美女”来检索文档，很可能丧失掉那些包含“PPMM”的文档。 2.一义多词：如果输入检索词是多个检索词组成的一个小document，例如“清澈 孩子”，那我们就知道这段文字主要想表达concept是和道德相关的，不应该将“春天到了，小河多么的清澈”这样的文本包含在内。 为...
论文阅读【10】Label-Specific Document Representation for Multi-Label Text Classification
最新发布
qq_35653657的博客
02-16 529
D=xiyii1Nxi​yi​i1N​表示文档的集合,它由N个文档组成,对应的标签为Y={yi∈01lyi​∈01l},其中l表示总的标签数量.每个文档都包含一系列的单词。每个单词都可以被编码到一个低维空间，并通过word2vect技术表示为一个d维向量.xix_ixi​={w1wpwnw1​......wp​wn​}表示第i个文档,wp∈Rkw_p ∈ R^kwp​∈Rk。
【译】潜在语义分析Latent Semantic Analysis (LSA)
卖小孩的咖啡
08-11 1万+
目录目录 概述 Tutorial LSA的工作原理 How Latent Semantic Analysis Works 实例A Small Example Part 1 - Creating the Count Matrix Python - Import Functions Python - Define Data Python - Define LSA Class Python - Parse
潜在类别分析LCA latent class analysis
热门推荐
m0_54401583的博客
09-27 2万+
由于论文需要用到此方法，这里做此学习记录，有需要的同学可一起学习进步。这里使用的软件为Mplus。 一、潜在类别分析的基础知识 为什么要使用该方法？什么情况可使用此方法？
Latent Semantic Analysis（LSA）详解及应用
"lsa算法的教程文档，涵盖了机器学习中的潜在语义分析（Latent Semantic Analysis，简称LSA）技术，适用于数据挖掘和文本挖掘领域。文档分为三个部分：第一部分介绍LSA的基础和数学原理，第二部分讲解如何利用LSA...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值