SVD在LSA中的应用

最新推荐文章于 2021-10-05 17:18:25 发布
最新推荐文章于 2021-10-05 17:18:25 发布
阅读量686 收藏
点赞数
分类专栏： SVD在LSA中的应用 数学 文章标签： httpwrite.blog.csdn. SVD LSA 奇异值分解 隐含语义分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qin910629/article/details/46864193
版权
本文详述SVD（奇异值分解）和LSA（隐含语义分析）的关系，矩阵分解理论，特别是奇异值分解在非方阵Term-Document矩阵中的应用。LSA利用SVD进行降维，去除语义空间的噪声，构建低维语义空间。
摘要由CSDN通过智能技术生成

本文的思路是先浅显解释一下SVD和LSA；其次讲一下矩阵分解，其中包括方阵的分解和对称方阵的分解；再次给出奇异值分解的理论；最后给出LSA理论及SVD在LSA中的降维作用。

首先说一下SVD和LSA语义：SVD中文称奇异值分解；LSA称为隐含语义分析；在LSA中用到SVD来实现降维过程。LSA简单来说就是一个词语在不同的主题中的阐释。

矩阵分解：

（一）、方阵S的分解

    

       U的列是S的特征向量；Λ对角线上的值是S的特征值，按从大到小排列。

（二）、对称方阵S的分解

      

       Q的列是S的单位正交向量；Λ同上；

最低0.47元/天 解锁文章
Q雨停江南
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习之奇异值分解SVD及应用于协同过滤推荐和LSA潜在语义分析
changzoe的博客
12-22 1386
隐形语义分析LSA隐形语义分析（LSA）是一种自然语言处理中用到的方法，又称为隐形语义索引 LSI，其通过“矢量语义空间”来提取文档与词中的“概念”，进而分析文档与词之间的关系。LSA的基本假设是，如果两个词多次出现在同一文档中，则这两个词在语义上具有相似性。LSA使用大量的文本上构建一个矩阵，这个矩阵的一行代表一个词，一列代表一个文档，矩阵元素代表该词在该文档中出现的次数，然后再此矩阵上使用奇异值
奇异值分解SVD应用——LSI
热门推荐
Rachel Zhang的专栏
10-31 5万+
潜在语义索引（Latent Semantic Indexing）是一个严重依赖于SVD的算法，本文转载自之前吴军老师《数学之美》和参考文献《机器学习中的数学》汇总。————————————在自然语言处理中，最常见的两类的分类问题分别是，将文本按主题归类（比如将所有介绍亚运会的新闻归到体育类）和将词汇表中的字词按意思归类（比如将各种体育运动的名称个归成一类）。这两种分类问题都可用通过矩阵运算来圆满地
谈谈SVD和LSA(zz)
windows2的专栏
09-06 1194
首先SVD和LSA是什么呢，SVD全称是singular value decomposition，就是俗称的奇异值分解，SVD的用处有很多，比如可以做PCA(主成分分析)，做图形压缩，做LSA，那LSA是什么呢，LSA全称Latent semantic analysis，中文的意思是隐含语义分析，LSA算是topic model的一种，对于LSA的直观认识就是文章里有词语，而词语是由不同的主题生成
NLP传统基础（3）---潜在语义分析LSA主题模型---SVD得到降维矩阵
weixin_30458043的博客
07-17 476
https://www.jianshu.com/p/9fe0a7004560 一、简单介绍 LSA和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和文档(documents)，并通过向量间的关系(如夹角)来判断词及文档间的关系；不同的是，LSA 将词和文档映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度。 ...
自然语言处理 - 潜在语义分析LSA背后的奇异值分解SVD
weixin_30294295的博客
07-04 194
特征值和特征向量 \(A \mathbf{x} = \lambda \mathbf{x}\)，这里，\(A \in \mathcal{R}^{n \times n}\)，\(\mathbf{x} \in \mathcal{R}^{n \times 1}\)，\(\lambda \in \mathcal{R}\) ，\(\lambda\) 是特征值，\(\mathbf{x}\) 是对应的特征向量。因...
SVD理解和其在PCA,LSI的应用
xietingcandice的专栏
04-10 2753
首先确实是觉得这篇文章写得很好，后面的附录也是非常值得一看 整体框架转自 http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 中间穿插一些自己的理解的部分 前言：     PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇
LSA.zip_LSA算法_java lsa_lsi_svd java_文本挖掘
09-21
LSA（Latent Semantic Analysis，潜在语义分析）是一种用于文本挖掘的技术，它通过数学方法，如奇异值分解（SVD），来揭示文本...通过阅读提供的PDF文档，你可以深入了解LSA的原理、实现细节以及其在实际项目中的应用。
SVD.rar_SVD_fortran svd
09-20
在自然语言处理（NLP）中，SVD被用于词向量表示，如latent semantic analysis (LSA)，帮助捕捉词汇间的语义关系。 总的来说，SVD是一种强大的数学工具，它不仅在理论上有深远的意义，而且在实际应用中也有广泛的...
LSA.zip_LSA语义
09-23
LSA，全称为Latent Semantic Analysis，是一种在自然语言处理领域广泛应用的技术，它通过数学方法来揭示文本数据中隐藏的语义结构。LSA的核心思想是，虽然词汇在表面上看起来是独立的，但它们在实际的文本语境中常常...
svd.zip_SVD_zip
09-20
6. **文本分析：** 在自然语言处理中，SVD 可用于主题建模，例如潜在语义分析（LSA），通过词频-逆文档频率（TF-IDF）矩阵进行降维。 7. **图像去噪：** SVD 可以帮助去除图像中的噪声，通过只保留主要奇异值，可以...
svd.rar_SVD_interesting_svd pdf
最新发布
09-24
在**控制系统**和**信号处理**中，SVD也有广泛的应用，例如在系统稳定性分析、滤波器设计和信号重构等。 在**文章中**，可能深入探讨了SVD的计算方法，包括Golub-Kahan算法和Householder变换等，以及如何利用SVD...
plsa算法介绍，包括SVD,LSA,EM算法的介绍
08-04
LSI是LSA在信息检索领域的应用，通过将查询和文档转换到潜在语义空间，改善了基于词汇匹配的传统信息检索方法。在LSI中，相似度度量不再局限于精确的词汇匹配，而是考虑了词与词之间的语义关联。这使得相关但词汇...
LSA tutorials
04-24
接着，运用奇异值分解（SVD）等数学方法，将词文档矩阵转换到一个由主成分构成的潜在空间中。在这个过程中，矩阵中的一些噪声成分（如文本中的统计误差）被减少或移除，而保留了对理解文档含义更重要的成分。 LSA在...
introduction to LSA
01-27
- **词汇测试**：LSA能够模拟人类在词汇测试中的表现，其得分与人类参与者在标准词汇测试中的得分相匹配。 - **分类判断**：LSA能够模仿人类进行词分类和类别判断的能力，反映出词语之间的内在联系。 - **词汇...
自然语言处理 - LSA
weixin_42272768的博客
07-22 1201
LSA （Latent Semantic Analysis）潜在语义分析，是利用线性代数奇异值分解的方法来达到降维的目的。 有关奇异值分解，可以去参考线性代数的书籍。 使用奇异值如何达到降维？正常的情况下，奇异值的分解并不能降低向量空间的复杂度。比如语料库是1000个单词，200篇文档的情况下，矩阵M的维度是1000x200，该矩阵有20万个元素。通过奇异值分解，可以得到三个矩阵，分别是1000x1000，200,200x200，一共有1,200,200个元素。可以发现经过奇异值分解后的维度增加了，而不是减
奇异值分解SVD、PCA主成分分析降维、潜在语义分析LSA之间的关系
大风车
10-05 620
奇异值分解SVD是一种矩阵分解也是数据压缩的方法，是在 Frobenius norm （也就是平方损失）意义下的对矩阵的最优近似。具体可以参考奇异值分解（SVD）（Singular Value Decomposition） 完全奇异值分解如下： 一般矩阵的完全奇异值分解如下： 紧奇异值分解如下： 若一般矩阵，其秩为 rank() = r ， r <=min(m,n)，那么的紧奇异值分解就是： 这里的就是将 原来的的前 r 行前 r 列，其是的前 r 列，其...
[干货汇总]LSA及SVD介绍
AmazingZeroly
06-23 2598
1. 前言 近期在看关于NER(Named Entity Recognition)的paper，里面涉及到的几个机器学习的算法，需要学习一下，在网上看了一些相关干货，汇总一下前人智慧。 首先贴出几篇写的还不错的blog blog1 LSA潜在语义分析该blog是在Wiki中翻译过来，翻译的反正比我看原文理解的好，进行初步了解还是不错的。blog2 SVD矩阵奇异值分解 && L
LSA&SVD基本概念
u013070853的博客
10-12 1078
矩阵 M 的奇异值分解为 ，其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,i即为M的奇异值。 伪逆：将矩阵主对角线上每个非零元素都求倒数之后再转置得到的。 SVD的应用：求伪逆；平行奇异值模型；矩阵近似值； 奇异值分解在统计中的主要应用为主成分分析（PCA），种数据分析方
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值