奇异值分解SVD应用——LSI

最新推荐文章于 2022-03-19 20:15:02 发布
最新推荐文章于 2022-03-19 20:15:02 发布
阅读量211 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kahncc/article/details/83855430
版权

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

               

潜在语义索引（Latent Semantic Indexing）是一个严重依赖于SVD的算法，本文转载自之前吴军老师《数学之美》和参考文献《机器学习中的数学》汇总。

————————————

在自然语言处理中，最常见的两类的分类问题分别是，将文本按主题归类（比如将所有介绍亚运会的新闻归到体育类）和将词汇表中的字词按意思归类（比如将各种体育运动的名称个归成一类）。这两种分类问题都可用通过矩阵运算来圆满地、同时解决。为了说明如何用矩阵这个工具类解决这两个问题的，让我们先来来回顾一下我们在余弦定理和新闻分类中介绍的方法。


分类的关键是计算相关性。我们首先对两个文本计算出它们的内容词，或者说实词的向量，然后求这两个向量的夹角。当这两个向量夹角为零时，新闻就相关；当它们垂直或者说正交时，新闻则无关。当然，夹角的余弦等同于向量的内积。从理论上讲，这种算法非常好。但是计算时间特别长。通常，我们要处理的文章的数量都很大，至少在百万篇以上，二次回标有非常长，比如说有五十万个词（包括人名地名产品名称等等）。如果想通过对一百万篇文章两篇两篇地成对比较，来找出所有共同主题的文章，就要比较五千亿对文章。现在的计算机一秒钟最多可以比较一千对文章，完成这一百万篇文章相关性比较就需要十五年时间。注意，要真正完成文章的分类还要反复重复上述计算。


在文本分类中，另一种办法是利用矩阵运算中的奇异值分解（Singular Value Decomposition，简称 SVD)。现在让我们来看看奇异值分解是怎么回事。首先，我们可以用一个大矩阵A来描述这一百万篇文章和五十万词的关联性。这个矩阵中，每一行对应一篇文章，每一列对应一个词。


在上面的图中，M=1,000,000，N=500,000。第 i 行，第 j 列的元素，是字典中第 j 个词在第 i 篇文章中出现的加权词频（比如，TF/IDF)。读者可能已经注意到了，这个矩阵非常大，有一百万乘以五十万，即五千亿个元素。


奇异值分解就是把上面这样一个大矩阵，分解成三个小矩阵相乘，如下图所示。比如把上面的例子中的矩阵分解成一个一百万乘以一百的矩阵X，一个一百乘以一百的矩阵B，和一个一百乘以五十万的矩阵Y。这三个矩阵的元素总数加起来也不过1.5亿，仅仅是原来的三千分之一。相应的存储量和计算量都会小三个数量级以上。


三个矩阵有非常清楚的物理含义。第一个矩阵X中的每一列表示一类主题，其中的每个非零元素表示一个主题与一篇文章的相关性，数值越大越相关。最后一个矩阵Y中的每一列表示100个关键词，每个key word与500，000个词的相关性。中间的矩阵则表示文章主题和keyword之间的相关性。因此，我们只要对关联矩阵A进行一次奇异值分解，w 我们就可以同时完成了近义词分类和文章的分类。（同时得到每类文章和每类词的相关性）。

比如降至2维（rank=2），则document-term的关系可以在下面二维图中展现：


 

在图上，每一个红色的点，都表示一个词，每一个蓝色的点，都表示一篇文档，这样我们可以对这些词和文档进行聚类，比如说stock 和 market可以放在一类，因为他们老是出现在一起，real和estate可以放在一类，dads，guide这种词就看起来有点孤立了，我们就不对他们进行合并了。按这样聚类出现的效果，可以提取文档集合中的近义词，这样当用户检索文档的时候，是用语义级别（近义词集合）去检索了，而不是之前的词的级别。这样一减少我们的检索、存储量，因为这样压缩的文档集合和PCA是异曲同工的，二可以提高我们的用户体验，用户输入一个词，我们可以在这个词的近义词的集合中去找，这是传统的索引无法做到的。


现在剩下的唯一问题，就是如何用计算机进行奇异值分解。这时，线性代数中的许多概念，比如矩阵的特征值等等，以及数值分析的各种算法就统统用上了。在很长时间内，奇异值分解都无法并行处理。（虽然 Google 早就有了MapReduce 等并行计算的工具，但是由于奇异值分解很难拆成不相关子运算，即使在 Google 内部以前也无法利用并行计算的优势来分解矩阵。）最近，Google 中国的张智威博士和几个中国的工程师及实习生已经实现了奇异值分解的并行算法，我认为这是 Google 中国对世界的一个贡献。


最后说说个人拙见，这里我们可以把document和term（word）中间加上一层latent semantics项，那么上图中的X和Y矩阵就可以分别表示同一个latent semantics对不同document之间的相关性和同一latent semantics在不同terms之间的相关性联系。X和Y的大小分别是m*r与r*n，r为A矩阵的rank（秩），最后，B是A的r个奇异值组成的对角方阵（r*r），在谱分解中也就是A的r个特征值。



关于NLP，linear algerbra和ML的更多讨论与交流，敬请关注本博客和新浪微博Rachel Zhang。




           

给我老师的人工智能教程打call！http://blog.csdn.net/jiangjunshow
这里写图片描述
你好！ 这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

  1. 全新的界面设计 ，将会带来全新的写作体验；
  2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
  3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
  4. 全新的 KaTeX数学公式 语法；
  5. 增加了支持甘特图的mermaid语法1 功能；
  6. 增加了 多屏幕编辑 Markdown文章功能；
  7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
  8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H2O is是液体。

210 运算结果是 1024.

插入链接与图片

链接: link.

图片: Alt

带尺寸的图片: Alt

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block var foo = 'bar';

生成一个适合你的列表

  • 项目
    • 项目
      • 项目
  1. 项目1
  2. 项目2
  3. 项目3
  • 计划任务
  • 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目Value
电脑$1600
手机$12
导管$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列第二列第三列
第一列文本居中第二列文本居右第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPEASCIIHTML
Single backticks'Isn't this fun?'‘Isn’t this fun?’
Quotes"Isn't this fun?"“Isn’t this fun?”
Dashes-- is en-dash, --- is em-dash– is en-dash, — is em-dash

创建一个自定义列表

Markdown
Text-to- HTML conversion tool
Authors
John
Luke

如何创建一个注脚

一个具有注脚的文本。2

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t   . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

gantt
        dateFormat  YYYY-MM-DD
        title Adding GANTT diagram functionality to mermaid
        section 现有任务
        已完成               :done,    des1, 2014-01-06,2014-01-08
        进行中               :active,  des2, 2014-01-09, 3d
        计划一               :         des3, after des2, 5d
        计划二               :         des4, after des3, 5d
  • 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

张三 李四 王五 你好！李四, 最近怎么样? 你最近怎么样，王五？ 我很好，谢谢! 我很好，谢谢! 李四想了很长时间, 文字太长了 不适合放在一行. 打量着王五... 很好... 王五, 你怎么样? 张三 李四 王五

这将产生一个流程图。:

链接
长方形
圆
圆角长方形
菱形
  • 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

  • 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

  1. mermaid语法说明 ↩︎

  2. 注脚的解释 ↩︎

还可以吧有点纯纯的
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
奇异值分解SVD与在降维中的应用
qq_31267769的博客
08-19 608
1. 特征值分解 1.1 特征值与特征向量 特征值与特征向量定义如下： 是一个实对称矩阵，是一个维向量，则是矩阵的一个特征值，而是矩阵的特征值所对应的特征向量。如果这些特征向量是线性无关的，即任意一个特征向量都不能被其他的向量的线性组合所表述出来，那么矩阵就可以特征分解，用以下式子表示： 其中是这n个特征向量做组成的维矩阵，而是以特征向量对应的特征值为对角线的维三角阵。将中的特征向量单位化，使得，即，故特征值分解也可以表达为： 征值分解，对矩阵有着较高的要求，它需要被分解的矩阵为实对称
SVD——奇异值分解概述
暴躁的搬砖工…
01-22 2798
奇异值分解（SVD）概述前言特征值奇异值分解奇异值分解：定义奇异值分解：求解过程SVD的几何性质特征值分解和SVD的区别：几何意义SVD的一些性质参考资料 前言 奇异值分解（Singular Value Decomposition，简称 SVD) 奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。 这...
矩阵的奇异值分解及其应用
08-01
关于矩阵奇异值分解的很详细易懂的讲解 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com
奇异值分解极其应用（SVD）
ZXM_SHU
06-27 1560
数学知识—线代 为了论述矩阵的奇异值分解，需要下面的结论： 1.设A∈Crm∗nA \in {{C_r^{m*n}}}A∈Crm∗n​ (r>0)，则AHAA^HAAHA是Hermite矩阵，且其特征值均是非负实数； 2.rank（AHA）=rankArank（A^HA）= rankArank（AHA）=rankA 3.设A∈Crm∗nA \in {{C_r^{m*n}}}A∈Crm∗n​，则A=OA=OA=O的充要条件是AHA=OA^HA=OAHA=O 定义：设A∈Crm∗n(r>0)A \i
奇异值SVD分解的应用探究
qq_39400324的博客
03-19 2631
SVD分解的应用探究一、特征值分解(EVD)1.特征值2.特征值分解过程二、奇异值分解(SVD)1.奇异值分解的形式2.奇异值分解的方法3.奇异值分解的价值三、SVD分解在图像处理中的应用3.1图像处理分析3.2SVD分解python代码3.3输出结果四、SVD分解的优点   奇异值分解(Singular Value Decomposition，简称SVD)是在机器学习领域广泛应用的算法，它可以用于降维算法中的特征分解，使用SVD对矩阵进行分解, 能得到代表矩阵最明显变化的矩阵元素，是很多机器学习算法的基石
奇异值分解（SVD）及其应用
老马的程序人生
08-08 2284
奇异值分解的定义 SVD（Singular Value Decomposition）可以理解为：将一个比较复杂的矩阵用更小更简单的3个子矩阵的相乘来表示，这3个小矩阵描述了大矩阵重要的特性。 定义：矩阵的奇异值分解是指将一个秩为rrr的实矩阵Am×nA_{m \times n}Am×n​分解为三个实矩阵乘积的形式： Am×n=Um×mΣm×nVn×nT≈Um×kΣk×kVk×nT A_{m\times n} = U_{m \times m} \Sigma_{m \times n} V ^ { T }_{n.
奇异值分解（SVD）算法c语言源代码
10-14
奇异值分解（Singular Value Decomposition，简称SVD）是一种在数学、计算机科学和信号处理等领域广泛应用的矩阵分解方法。它将一个矩阵分解为三个矩形矩阵的乘积，即A = UΣV^T，其中A是原始矩阵，U和V是正交矩阵，...
python奇异值分解_python机器学习（七） 奇异值分解-SVD
weixin_42165508的博客
02-10 2308
降维(Dimensionality Reduction) 是机器学习中的一种重要的特征处理手段，它可以减少计算过程中考虑到的随机变量(即特征)的个数，其被广泛应用于各种机器学习问题中，用于消除噪声、对抗数据稀疏问题。它在尽可能维持原始数据的内在结构的前提下，得到一组描述原数据的，低维度的隐式特征(或称主要特征)。简单来说，在高维数据中筛选出对我们有用的变量，减小计算复杂度提高模型训练效率和准确率，...
利用SVD简化数据——奇异值分解
吊车尾小队
08-19 1097
利用SVD简化数据——奇异值分解基础知识奇异值分解的原理基于协同过滤的搜索引擎实例：餐馆菜肴推荐引擎 和 代码 基础知识 奇异值分解 优点：简化数据，去除噪声，提高算法的结果。 缺点：数据的转换可能难以理解。 适用数据类型：数值型数据。 作用：数据降维，压缩存储。通过抽取特征数据， 从而去除噪声和冗余数据，达到压缩数据的目的。 应用的主要方面有：隐形语义的索引，推荐引擎， 数据压缩。 下面我们就来具体看看SVD的应用有哪些： ●最早的SVD应用之-就是信息检索,我们称利用SVD的方法为隐性语义索引(
奇异值分解及应用实例
11-22
基于SVD的图像压缩 基于SVD的协同过滤推荐系统 我的博客地址： http://blog.csdn.net/jinshengtao/article/details/41387379
C++ 奇异值分解 SVD 文本聚类 文本分类
12-10
C++ 奇异值分解 可调用矩阵计算工具eigen，但运行速度太慢。调用matlab也有点繁琐。下载了svdcmp.c文件，调试运行通过代码。 A=UKV',svdcmp.c计算的对焦矩阵K不是按从大到小排序，该代码已经做了调整，并且v'也是对应奇异值修正得矩阵，可直接用v'用到文本分类或文本聚类中
数据科学中需要知道的5个关于奇异值分解（SVD）的应用
TensorFlowNews
08-27 1169
介绍 “Another day has passed, and I still haven’t used y = mx + b.” 这听起来是不是很熟悉？我经常听到我大学的熟人抱怨他们花了很多时间的代数方程在现实世界中基本没用。 好吧,但我可以向你保证，并不是这样的。特别是如果你想开启数据科学的职业生涯。 线性代数弥合了理论与概念实际实施之间的差距。对线性代数的掌握理解打开了我们认为无...
隐性语义索引 LSI
Vulpes corsac
10-29 1540
隐性语义索引(Latent Semantic Indexing,以下简称LSI )，有的文章也叫Latent Semantic Analysis（LSA ）。其实是一个东西，后面我们统称LSI ，它是一种简单实用的主题模型。它是一种利用奇异值分解(SVD )方法获得在文本中术语和概念之间关系的索引和获取方法。该方法的主要依据是在相同文章中的词语一般有类似的含义,可以从一篇文章中提...
LSI (Latent Semantic Indexing)隐语义索引简介
影の聚宝盆
07-10 2576
<br />隐性语义索引<br /><br />                   .Walt.<br /><br />1. 引言<br />        <br /><br />自然语言文本中的词汇(术语)具有一词多义(polysemy)和一义多词(synonymy)的特点. <br />由于一词多义, 基于精确匹配的检索算法会报告许多用户不要的东西; 由于一义多词, <br />基于精确匹配的检索算法又会遗漏许多用户想要的东西.<br /><br />下面是一个例子:<br /><br />设Doc
文本主题模型之潜在语义索引(LSI)
Liz的博客
03-22 617
好文章的搬运工：https://www.cnblogs.com/pinard/p/6805861.html 先对矩阵做SVD分解，然后利用V矩阵，计算LSI，LSI得到的文本主题矩阵可以用于文本相似度计算。而计算方法一般是通过余弦相似度。需要选取主题的k值。 LSI是最早出现的主题模型了，它的算法原理很简单，一次奇异值分解就可以得到主题模型，同时解决词义的问题，非常漂亮。但是LSI有很多...
NLP07：基于潜在隐语义索引的文本相似度计算
大雄没有叮当猫的博客
09-26 664
1.潜在隐语义索引(LSI)概述 潜在语义索引(Latent Semantic Indexing,以下简称LSI)，有的文章也叫Latent Semantic Analysis（LSA）。其实是一个东西，后面我们统称LSI，它是一种简单实用的主题模型。LSI是基于奇异值分解（SVD）的方法来得到文本的主题的。 这里我们简要回顾下SVD：对于一个m×nm \times nm×n的矩阵AAA，可以分解为下面三个矩阵： Am×n=Um×mΣm×nVn×nT A_{m \times n} = U_{m \time
关于潜在语义索引模型
qq_30843221的博客
12-01 4106
LSI(潜在语义索引模型)定义:LSI,英文：Latent Semantic Indexing的缩写，中文意译是潜在语义索引，指的是通过海量文献找出词汇之间的关系。当两个词或一组词大量出现在一个文档中时，这些词之间就可以被认为是语义相关的。来源历史:潜在语义分析（Latent Semantic Analysis）或者潜在语义索引（Latent Semantic Index），是1988年S.T. D
SVD分解在文本分类中的应用
热门推荐
chlele0105的专栏
10-24 1万+
SVD分解在文本处理中的应用 在自然语言处理中，最常见的两个问题分别是，将文本按主题归类和将词汇按意思归类。这两个问题都可以通过矩阵运算来圆满地，一次次能够解决。首先来看一看余弦定理和新闻分类这个问题 新闻分类其实就是一个聚类问题，关键是计算两篇新闻的相似程度。问了完成这个任务，我们可以将新闻表示成代表它们内容的实词序列，即向量，然后求两个向量的夹角。夹角越小，表示两篇新闻越相关；当它们垂直正
奇异值分解在协同过滤推荐系统中的应用
"这篇博士学位论文探讨了协同过滤系统在应对数据稀疏性和冷启动问题上的挑战，特别是通过奇异值分解(SVD)等方法提高预测准确性的策略。作者孙小华在孔繁胜教授指导下，研究了如何在缺乏项目内容信息和用户个人信息的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值