布尔检索和向量空间模型——nlp基础学习笔记

最新推荐文章于 2023-05-08 10:31:34 发布
最新推荐文章于 2023-05-08 10:31:34 发布
阅读量2.4k 收藏 4
点赞数 1
分类专栏： nlp 文章标签： nlp 信息检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35227692/article/details/74578959
版权
首先说布尔检索，顾名思义 用0，1 代表真假值来进行检索。比如两句话    我爱吃鸭，  他爱吃鸡可以构造出一个二维矩阵：横坐标是每一句话包含的信息，纵坐标是所有文字   句子1 句子2 句子n。。。。你00。。我10。。他01。。吃11。。等等。。。。。当用户想要检索某些文字的时候 直接查找对应的文章就好了。但是这样表述太浪费空间，远远不够实践所需的条件，所以倒排索引就应运而生。正排索引就是像上...
摘要由CSDN通过智能技术生成

首先说布尔检索，顾名思义 用0，1 代表真假值来进行检索。

比如两句话    我爱吃鸭，  他爱吃鸡

可以构造出一个二维矩阵：

横坐标是每一句话包含的信息，纵坐标是所有文字


    句子1  句子2 句子n。。。。
你 0 0 。。
我 1 0 。。
他 0 1 。。
吃 1 1 。。

等等。。。。。

最低0.47元/天 解锁文章
高斯拟合的周萌萌
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
经典检索模型——向量空间模型（VSM）的简单理解
华工Web练习生
03-04 5074
笔者在课后作业中遇到了向量空间模型的概念题，对课堂重温后有了一些简单的理解，在此分享。 向量空间模型（VSM） 向量空间模型（Vector Space Model，VSM），是基于代数的一种常用模型。向量空间模型试图克服布尔模型的缺陷，它采用非布尔向量来表示文档和查询，采用非二值实数表示相似度，这样输出结果就可以按照文档和查询的相似程度来进行排序了，客观上实现了部分匹配。 采用向量空间模型最明显的...
VSM信息检索模型（向量空间模型）
01-13
向量空间模型（Vector Space Model，VSM）是一种在信息检索和自然语言处理领域广泛应用的模型，它将文档和查询转化为向量的形式，通过计算这些向量之间的相似度来评估文档与查询的相关性。在本项目中，我们将探讨VSM...
【NLP】 向量空间模型
weixin_30263073的博客
12-14 99
向量空间模型是一种比较广泛是一种用向量来表示文本的代数模型。 在向量空间模型中，文档被表示成一个权值向量，其中的每一个权值都通过词频率表（TF），或者词逆向文档频率表（TF-IDF），或者他们的变异版本计算得到的。 词频率表（Term Frequency（TF）Scheme）：在这种方式中，文档di中token ti的权值就是在dj中ti出现的次数，被定义为fij，在此基础上还可以进行标准化。...
自然语言处理(NLP)-1.3 向量空间模型(Vector Space Models)
Ogmx的博客
03-21 2000
1.向量空间模型(Vector Space Models) 1.1 基本概念 定义：向量空间模型将单词或文本用向量表示，通过上下文来获取其语义信息 功能：识别两文本/两类文档间的相似度和独立性 例： 单词基本相同的两句话可能有不同含义；而单词完全不同的两句话可能有相同含义 1.2 应用 信息提取 机器翻译 聊天机器人 2.构建向量空间 2.1 单词统计(Wor...
向量空间模型 - 维基百科，自由的百科全书
09-23 413
向量空间模型 - 维基百科，自由的百科全书 向量空间模型 - 维基百科，自由的百科全书向量空间模型 维基百科，自由的百科全书 跳转到： 导航, 搜索 向量空间模型 (或者 词组向量模型) 作为向量的标识符（比如索引），是一个用来表示文本文件的代数模型。它应用于信...
词向量模型（word2vec）总结笔记
01-07
词向量基于语言模型的假设——“一个词的含义可以由它的上下文推断得出“，提出了词的Distributed Representation表示方法。相较于传统NLP的高维、稀疏的表示法(One-hot Representation)，Word2Vec训练出的词向量是...
自然语言处理词向量和语言模型.pdf
03-19
自然语言处理词向量和语言模型.pdf
VSM.rar_vsm_向量空间模型
09-23
向量空间模型（Vector Space Model，VSM）是信息检索和自然语言处理领域中的一个核心概念，用于表示文档和查询的语义结构。在VSM中，每个文档和查询都被视为高维空间中的向量，其中维度对应于词汇表中的词汇。通过...
深度学习NLP基础之词向量简介.zip
最新发布
04-28
词向量：词向量（Word embedding），又叫Word嵌入式自然语言处理（NLP）中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。 从概念上讲，它涉及从每个单词一维的空间到具有更...
向量空间模型 信息检索作业
03-17
向量空间模型的构建 C++实现 VS2013上做的，绝对的好用
irproject1:一个使用倒排索引和向量空间模型的简单信息检索项目
06-12
项目1 一个使用倒排索引和向量空间模型的简单信息检索项目。 1）源代码只是一个python文件ir.py。 2）代码是用Python 2.7编写的。 3）代码中的query_file和base_dir变量要分别设置为query文件和blogs目录。 4)查询文件格式为：企鹅851 March每行一个查询，不带引号。 5）每个实现的IR模型都有一个后缀（名称）。 TFIDF：'stem' LogtfIDF：'stem-logtf' TFIDF-Positional：'stem-positional' BM25：'stem-bm25' 语言模型：'stem-lm' 拉普拉斯平滑语言模型：'stem-lmls' 为了对两个模型的两个分数进行线性求和，可以将 main(methods) 中的方法设置为我们打算在最终结果中使用的后缀列表。 例如 main(methods=['stem'
Python-基于同义词词林知网指纹字词向量向量空间模型的句子相似度计算
08-10
self complement of Sentence Similarity compute based on cilin, hownet, simhash, wordvector,vsm models，基于同义词词林，知网，指纹，字词向量，向量空间模型的句子相似度计算。
向量检索模型落地：瓶颈及解法！
Kaiyuan_sjtu的博客
02-11 907
作者|Maple小七整理|NewBeeNLP稠密向量检索巨大的内存占用一直是限制其落地的一大瓶颈。实际上，DPR生成的768维稠密向量存在大量冗余信息，我们可以通过某种压缩方法以...
信息检索——向量空间模型（Vector Space Model）
分布式/云计算实践
03-25 4275
TF： tf 即 term frequency, 表示一个 term t 出现在 document d 中的次数，这是文档中一个很重要的概念。出现次数更多意味着重要程度越高，但是需要注意的是，相关度的提高并不是和次数的提高成同比的。因此通常tf需要做如下的处理 w1= log10(tf+1) 这样做就是要弱化次数对于相关度的影响 DF/IDF: df 即 do
现代信息检索 -- 空间向量模型
aiyingshu7825的博客
10-18 707
王老师的现代信息索引讲的很精彩，但是三节联排的课程总让我的注意力没办法太集中。在这里记录一下知识，也但是回顾了。 支持布尔查询的索引办法，在给定一个查询的情况下，可能匹配到的结果非常的多，那么对匹配结果（文档）进行评分或者相关权重分析，就显得尤为重要。 一、 参数化索引和域索引 　　 　　通常的文档都有额外的结构（title，author，content，etc.) ，这些也称为...
极简代码（六）—— 返回 0/1 构成的布尔向量
11-11 1812
使用逻辑判断式进行赋值，几乎所有的编程语言都支持，逻辑判断返回的 True/False，其实对应着 1/0，以 matlab 获取一个单位样本序列为例：function [x, n] = impseq(n0, n1, n2) n = n1:n2; x = [n == n0]; % 当然也可以稍微啰嗦的一种写法，x = [(n-n0) == 0];
IR：检索模型
Puzzle的博客
09-03 1491
# 信息检索模型 信息检索的主题之一是定义一个无须工程师提炼规则的模型。这样的检索模型（retrieval model）应该尽可能准确地捕获相关性的概念。给定一组搜索结果，检索模型将对它们进行排序：结果越相关，分数越高。 # TF-IDF 一种度量文档相对于查询的重要性的常见方法，是利用基于查询和文档中的词项计算出的统计数据。这种检索模型称为信息检索的统计模型（statistical models for information retrieval） # 示例 ...
搜索引擎：向量空间模型
m0_72410588的博客
05-08 284
向量空间模型是信息检索领域中常用的一种检索模型。它将文本表示成向量形式，通过计算文本之间的相似度来实现文本的快速检索。了解向量空间模型的原理和应用对于信息检索领域的从业人员具有重要意义。
自然语言处理-十一-信息检索.ppt
03-20
- 包括布尔检索模型、向量空间模型和概率检索模型，这些都是构建高效检索系统的理论基础。 - 布尔检索模型基于逻辑运算符（AND、OR、NOT），直观反映用户查询意图；向量空间模型将文档视为向量，通过计算相似度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值