【自然语言处理】潜在语义分析【上】潜在语义分析

已于 2023-03-11 10:04:45 修改
阅读量778 收藏 3
点赞数 2
分类专栏： 【NLP & CV】 文章标签： 自然语言处理 人工智能
于 2022-10-18 20:39:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46221946/article/details/127396273
版权
本文详细介绍了潜在语义分析（LSA），一种无监督学习方法，主要用于文本的话题分析。通过矩阵分解，LSA旨在发现文本与单词之间的基于话题的语义关系，从而更准确地表示文本间的语义相似度。内容涵盖了单词向量空间、话题向量空间、话题分析模型的构建以及LSA的算法实现，包括奇异值分解和非负矩阵分解的应用。
摘要由CSDN通过智能技术生成

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成两篇博客。
【自然语言处理】潜在语义分析【上】潜在语义分析
【自然语言处理】潜在语义分析【下】概率潜在语义分析

基础概念
文档（Document）：泛指一般的文本或者文本中的片断（段落、句群或句子），一般指一篇文章，尽管文档可以是多媒体对象，但是以下讨论中我们只认为是文本对象，对文本与文档不加以区别。

项（Term）：文本的内容特征常常用它所含有的基本语言单位（字、词、词组或短语等）来表示，这些基本的语言单位被统称为文本的项，因此文本可以用项集表示为 d

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不牌不改
关注
专栏目录
订阅专栏
【自然语言处理】潜在语义分析【下】概率潜在语义分析
LJR的博客
10-18 551
LSA pLSA 潜在语义分析 概率潜在语义分析 贝叶斯 单词向量空间 话题向量空间 非负矩阵分解 奇异值分解 TFIDF 单词频率-逆文本频率 term frequency-inverse document frequency
潜在语义分析：做潜在语义分析-matlab开发
06-01
只做潜在语义分析！！由于lsa和ca（或对应分析）的结果可能不同，你应该比较结果并取更好的！！我之前提交过CA.m所以你可以使用这个，如果可以的话喜欢！（ http://www.mathworks.com/matlabcentral/fileexchange/54043-correspondence-analysis ）该程序是作为日语文本挖掘的工具箱之一创建的。 https://bitbucket.org/IkkoKimura/tmt/downloads如果你喜欢，也请参考这个人。
【译】潜在语义分析Latent Semantic Analysis (LSA)
热门推荐
卖小孩的咖啡
08-11 1万+
目录目录 概述 Tutorial LSA的工作原理 How Latent Semantic Analysis Works 实例A Small Example Part 1 - Creating the Count Matrix Python - Import Functions Python - Define Data Python - Define LSA Class Python - Parse
文本主题模型之潜在语义索引(LSI)
weixin_34067980的博客
05-04 917
　　　　在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 1. 文本主题模型的问题特点 　　　　在数据分析中，我们经常会进行非监督学习的聚类算法，它可以对我们的特征数据进行非监督的聚类。而主题模型也是非监督的算法，目的是得到文本按照主题的概率分布。从这个方面来说，主题模型和普通的...
潜在语义分析（LSA）（latent semantic analysis）
大风车
10-04 1424
本文参考李航统计学习方法第17章 潜在语义分析～ 文本信息处理的一个核心问题是对文本内容进行数字表示，并进行文本之间的语义相似度的计算。 传统的方法以单词向量表示文本的语义内容，以单词向量空间的度量（内积或标准化内积）表示文本之间的语义相似度。 潜在语义分析试图发现潜在的话题，以话题向量表示文本的语义内容，以话题向量空间的度量（内积或标准化内积）表示文本之间的语义相似度。 单词向量空间 给定一个文本，用一个向量表示该文本的 ‘语义’ ，向量的每一维对应一个单词，其数值为该单词在该文本中出现的频数或
LSA(潜在语义分析)
weixin_43977748的博客
06-14 2023
转载https://blog.csdn.net/fkyyly/article/details/84665361 link LSA最初是用在语义检索上，为了解决一词多义和一义多词的问题： 1.一词多义： 美女和PPMM表示相同的含义，但是单纯依靠检索词“美女”来检索文档，很可能丧失掉那些包含“PPMM”的文档。 2.一义多词：如果输入检索词是多个检索词组成的一个小document，例如“清澈 孩子”，那我们就知道这段
潜在语义分析学习笔记
qq_40249258的博客
02-11 354
潜在语义分析是一种无监督学习方法，主要用于文本的话题分析，其特点是通过矩阵分解发现文本与单词之间的基于话题的语义关系。 1 单词向量空间 2 话题向量空间
潜在语义分析
01-03
潜在语义分析（Latent Semantic Analysis）或者潜在语义索引（Latent Semantic Index），是1988年S.T. Dumais等人提出的一种新的信息检索代数模型，是用于知识获取和展示的计算理论和方法，它使用统计计算的方法对...
基于MapReduce的文本挖掘的并行概率潜在语义分析。
03-28
PLSA（概率潜在语义分析）是一种典型的主题模型。复杂的建模过程导致难以处理的海量数据，针对串行PLSA难以处理的海量数据的问题，该文提出一种基于MapReduce计算框架的并行PLSA算法，能够以简洁的形式和分布式的...
使用 EM算法的概率潜在语义分析 (plsa) 的python实现_python_代码_下载
06-07
这是使用 EM 算法的概率潜在语义分析的 python 实现 参数 描述 数据集文件路径 数据集的文件路径 停用词文件路径 停用词的文件路径 ķ 话题数 最大迭代 EM算法的最大迭代次数 临界点 判断对数似然收敛的阈值 主题词...
潜在语义分析LSA
lili安的博客
09-15 1007
一、背景 LSA潜在语义分析和传统向量空间模型VSM 都是使用向量来表示单词terms和文档documents，并且通过向量关系来判断terms和documents之间的关系； 不同的是，LSA将terms和documents映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精度。 二、文本挖掘方面的应用 （1）分类 按照意思分类词语；按照主题分类文本。 （2）检索 用户提问（通常由若干个反映文本主题的词汇组成），然后在然后系统在数据库中进行提问式和预存的文本关键词的
【大数据分析】Ch.5：潜在语义分析·LSA（Latent Semantic Analysis）
Chahot的博客
10-10 722
本章的内容是对自然语言的分析，并非单纯数与字符的统计，而是尝试去理解人类的语言描述概念。自然语言通常是指一种自然地随文化演化的语言。例如，汉语、英语、日语为自然语言的例子，这一种用法可见于自然语言处理一词中。 LSA（Latent Semantic Analysis） LSA:一种分析自然语言并根据潜在本意进行统计性处理的算法。其核心思想如下： 如果我们能制作一个表格，这个表格统计着每个单词对于每个文档的重要程度，当我们试图去分析某一篇具体的文章我们就可以通过表格来直观看到关于这篇文章的核心论点，我们就能
复现经典：《统计学习方法》​第17章 潜在语义分析
fengdu78的博客
06-08 592
第17章 潜在语义分析本文是李航老师的《统计学习方法》一书的代码复现。作者：黄海广备注：代码都可以在github中下载。我将陆续将代码发布在公众号“机器学习初学者”，可以在这个专辑在线阅...
NLP自然语言处理实战(三):词频背后的语义--2.隐性语义分析及奇异值分解
最新发布
weixin_44288092的博客
10-16 873
LSA,SVD
LDA
楚门的世界
10-12 961
（一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。 举个例子，有两个句子分别如下： “乔布斯离我们而去了。” “苹果价格会不会降？” 可以看到上面这两个句子没有共同出现的单词，但这两个句
自然语言处理(NLP)-2.2 词性标注与隐式马尔科夫模型(Part of Speech Tagging and Hidden Markov Models)
Ogmx的博客
03-26 1224
1.词性标注(Part of Speech Tagging，POS) 1.1 基本概念 定义：标注出句子中各单词的词性，如名词、动词、形容词等 例子： 1.2 相关应用 应用： 命名实体识别 指代消歧 语音识别 2.马尔可夫链(Markov Chains) 2.1 基本概念 定义：离散时间的马尔可夫过程即马尔可夫链；其假设未来状态只与当前状态有关，而与时间无关 ...
潜在语义分析LSA和概率潜在语义分析PLSA
weixin_43646592的博客
04-22 956
一、潜在语义分析LSA  LSA是一种无监督学习方法，主要用于文本的话题分析。其特点是通过矩阵分解发现文本与单词之间的基于话题的语义关系。  传统的量化文本的方法是用单词向量表示文本的语义内容，在单词向量空间中通过向量的内积或标准化内积（即余弦）衡量文本之间的语义相似度。 而潜在语义分析的目的就是解决这种方法不能准确表示语义的问题，试图从大量文本数据中发现潜在的话题，以话题向量表示文本的语义，在话题向量空间中通过向量的内积或标准化内积（即余弦）衡量文本之间的语义相似度。  在单词向量空间中使用单词-文本.
语义模型及自然语言处理系统基础算法
weixin_42631192的博客
04-09 1452
语义模型常用算法及详解 1.1 关键词抽取的算法模型 （1）TF-IDF （2）TextRank （3）基于语义的统计语言实现关键词抽取 1.2 短语抽取的算法模型 （1）基于互信息和左右信息熵算法实现短语抽取 （2）LDA （3）TextRank 1.3 自动摘要抽取算法模型 （1）决策树算法 （2）逻辑回归算法 （3）贝叶斯算法 1.4 计算任意词距离算法模型 （1）FP-Growth算...
利用潜在语义分析自动化软件构件采购
2. **潜在语义分析（LSA）**：这是一种自然语言处理技术，用于理解和提取文本中的深层语义关系。在本文中，LSA被用来自动识别和匹配组件需求描述与组件库中的现有组件。 3. **文本分析问题**：作者提出将组件采购...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不牌不改

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值