信息检索——词项词典及倒排记录表

最新推荐文章于 2023-06-09 22:34:36 发布
VIP文章 最新推荐文章于 2023-06-09 22:34:36 发布
阅读量797 收藏 2
点赞数 1
分类专栏： 信息检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/notqq555/article/details/109534892
版权

词项词典及倒排记录表

 

本章内容

收集词项词典的预处理

  1. 收集文档
  2. 词条化
  3. 应该把哪些词放入索引？

倒排记录表

  1. 快速处理：跳表
  2. 含位置信息的倒排记录表和短语查询

 

 

 

 

分析文档

  1. 需要处理每一个文档的格式及语言
  2. 格式：PDF/excel/word/HTML...
  3. 语言
  4. 字符集：utf-8/gbk/gb2312....

 

索引粒度

可取的做法是将每章或每段看成一个微型文档来建立索引，匹配单位的粒度越小，用户就越容易在文档中找到相关的段落。

  • 索引粒度太小，正确率高  召回率低
  • 索引粒度太大，召回率高  正确率低

 

 

 

词条与词项

词条：从原文 中切出来的，一模一样

词项：词条经过若干处理，再进行同义词归类后成为了词项

 

词条预处理

 

 

 

 

最低0.47元/天 解锁文章
NoTqqa
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
实验1-1倒排记录表的合并算法实现
04-20
信息检索，倒排记录表的合并算法实现，用户通过提示输入两个倒排记录表，系统自动实现倒排记录表的合并，并将合并结果输出。
词典、倒排记录表和容错式检索的实验
m0_62494887的博客
04-18 266
掌握跳表指针（skip pointers）技术、邻近搜索（proximity search）技术、编辑距离（edit distance）计算方法、基于发音的矫正技术（phonetic correction）等，了解PorterStemmer开源程序的简单调用。
【信息检索导论】第二章 词项词典与倒排记录表
lwgkzl的博客
01-27 1165
总览 本章介绍的较为琐碎，因为书中提及了很多实际应用中的具体困难，而这些困难书中也并未提及解决方案，一般是凭经验去权衡。其内容主要还是围绕倒排表进行讲述的，讲述重点有两个。一是如何从文本中抽取词条，涉及到分词，以及词语的归一化问题（2.2）， 二是如何高效的进行检索，即倒排表如何快速合并，考虑连续的二元组该如何查询等（2.3, 2.4） 2.1 文档分析与编码转换 编码转换：主要介绍文档的解码问题，用UTF-8还是其他编码，以及不同平台间的文档的解码问题。 索引粒度（index granularity）：
信息检索导论学习笔记（2）——词项词典及倒排记录表
小一的专栏
06-08 5060
回顾构建倒排索引的主要步骤 收集待建索引的文档对这些文档中的文本进行词条化对第二步产生的词条进行语言学处理，得到词项根据词项对所有文档建立索引 所谓词条化(tokenization)：将原始的字符流转换成一个个词条(token)的过程 文档分析及编码转换 生成字符序列 语言识别，编码方式识别，文件格式等处理，生成字符序列 文档单位的选择 合理的选择“索引粒
倒排索引原理
meser88的博客
06-09 5206
下图是一个相对复杂些的倒排索引，与上图的基本索引系统比，在单词对应的倒排列表中不仅记录了文档编号，还记载了单词频率信息（TF），即这个单词在某个文档中的出现次数，之所以要记录这个信息，是因为词频信息在搜索结果排序时，计算查询和文档相似度是很重要的一个计算因子，所以将其记录在倒排列表中，以方便后续排序时进行分值计算。这样每个文档就转换为由单词序列构成的数据流，为了系统后续处理方便，需要对每个不同的单词赋予唯一的单词编号，同时记录下哪些文档包含这个单词，在如此处理结束后，我们可以得到最简单的倒排索引。
新手学信息检索5：正确率-召回率与搜索引擎的评价
andun6063的博客
01-09 484
这篇就简单介绍一下搜索引擎的评价方法。从用户的角度去评价一个搜索引擎的检索效果最好的方法就是计算用户在查到自己满意文档时已经浏览的文档数。但是实际中，查询千变万化，文档也千变万化，所以这种方法不可行。人们便提出了下面的概念，并建立了一个评价标准。 这里面有三个常用的概念：正确率，精确率，召回率。 正确率（Precision，简称为P）定义为：P=返回结果中相关文档个数/返回结果的数目...
2词项词典及倒排记录表
qq_45783383的博客
11-18 274
提示： 词项词典及倒排记录表 文章目录词项词典及倒排记录表相关概念 词项词典及倒排记录表 相关概念
信息检索——倒排索引和布尔查询
notqq555的博客
11-06 1823
线性扫描 词项-文档关联 倒排索引 查询处理AND 布尔查询 自由文本查询 查询优化 举例：查找《莎士比亚》中的人名 1 AND 2 but NOT 3 线性扫描grepping: 从头到尾阅读该全集，对每部剧本都留心是否包含1和2不包含3 缺点： 太慢 不灵活 无法排序 词项-文档关联 缺点： 太大了 而且99.8%的元素都为0 更好的方法是只记录原始矩阵中1的位置 行：文档向量 列：词项向量 1或0：1表示存在...
词项（term）与词条（token）区别
憨憨的博客
09-28 2596
传送门
智能信息检索——基于跳表指针的倒排记录表的合并算法
lazyn的博客
04-29 2044
智能信息检索——基于跳表指针的倒排记录表的合并算法1．实验目的2．实验任务与要求3．实验说明书⑴功能描述⑵概要设计⑶详细设计4．实验成果 1．实验目的 掌握搜索系统中基于跳表指针的倒排记录表合并算法。 2．实验任务与要求 充分理解搜索系统中基于跳表指针的倒排记录表求交集的合并算法，并通过python编程实现。当用户在提示后输入查询语句即可以实现基于跳表指针的倒排记录表合并并输出。 3．实验说明书 ...
信息检索_基于跳表指针的倒排记录表合并算法
12-21
小程序描述：输入两个倒排记录表，求两个倒排记录表的交集 跳表指针合并算法伪代码如下所示：                                                         功能描述： ①运行程序，看到提示“请输入词项word1：”，输入某个倒排记录表的词项。 ②运行程序，看到提示“请输入word1的倒排记录表(输入-1，停止输入倒排记录表):”时，输入①步骤词项的倒排记录表，当输入-1时停止输入此倒排记录表。 ③运行程序，看到提示“请输入词项word2：”，输入某个倒排记录表的词项。 ④运行程序，看到提示“请输入word2的倒排记录表(输入-1，停止输入倒排记录
倒排记录表-信息检索导论
10-08
王斌老师讲课课件，仅供个人保存，请勿下载。。。。。。。。
人工智能-项目实践-信息检索-基于倒排索引和向量空间模型的信息检索系统
最新发布
02-29
基于倒排索引和向量空间模型的信息检索系统 倒排索引机制 倒排索引(Inversed index)的特点是不通过文档来寻找关键词，而是通过关键词来定位文档及它在文档中出现的具体位置， 它的工作原理就是通过建立索引和位置表...
数据结构题目：词典检索系统
12-22
本项目要求词典检索系统实现变位 词的查找功能 2。基本要求 (1)用文件 diction.txt存储词典 (2)尽力改进算法效率 1.构造Pair类 struct Pair {String stampCode; //特征码 LinkList<String> words; //词链表 ...
现代信息检索3---词汇表和倒排记录表
u010384318的专栏
10-10 2276
第二节里我们了解了倒排索引的基本知识，包括构建、合并、查询等。课件里有个关于google中是否使用布尔模型？这个问题我们还是看下图吧： 让我感觉简单的布尔模型还是有用武之地的。下面是新的知识，对于我这个自学的人来说还是有点难，只能按照我自己的理解去说了。如果有误，欢迎指正。 你一定还记得这个图吧！当时只是一笔带过，现在应该去思考为什么会是这样的。先说下步骤吧： 我们构建索引的输入一般
基于跳表指针（skip points）的倒排记录表（postings lists）合并算法
iamubbTing的博客
04-28 3105
public class skip { public static void main(String args[]) {//////////初始化两个数组a,b,相当于两个倒排表 int a[]={2,4,8,16,19,23,28,43}; int b[]={1,2,3,5,8,41,51,60,71}; int c[]=new int [20];//数组用于存放相同的位置 int
智能信息处理复习2——词项词典及倒排记录表
weixin_43723655的博客
11-16 647
文档分析 将字节序列转换成线性字符序列 待索引文档集可能同时包含多种语言的文档 有时文档或者其部件中包含多种语言/格式 文档单位选择  索引粒度：比如，我们可以将每个句子作为索引单位。  很显然，这里存在着一个正确率和召回率之间的权衡问题：如果索引粒度太小，那么由于词项散布在多个细粒度文档中，我们就很可能错过那些重要的段落，也就是说此时正确率高而召回率低；反之，如果索引粒度太大，我们就很可能找到很多不相关的匹配结果，即正确率低而召回率高。 词项集合的确定 词条化 词条与词项的概念 词条是指在文档中出现
词项词典及倒排记录表
zqq1216的专栏
03-16 1968
词项字典获取相关操作：文档单元选择、字符序列生成、词条化、去除停用词、词项归一化、词干还原和词形归并。 词项词典获取： 1. 文档单元选择：存在索引粒度的问题，这里存在一个正确率和召回率的权衡问题，如果索引粒度太小，那么由于词项散布在多个细粒度文档中，我们就很可能错过那些重要的段落，也就是说此时正确率高二召回率低；反之，如果索引粒度太大，我们就很可能找到很多不相关的匹配结果，及正确率低而召回率
信息检索导论（第二章） 词项词典及倒排记录表
steppad
07-26 982
文档字符生成过程中存在编码识别问题，一般通过启发式的机器学习手段来识别或者手工选择方式来解决； 文档的“单位”：文档单位即“索引粒度”的设定往往需要根据实际情况的需求设定，粒度过大或者过小都有弊端，粒度过小，词汇都被包含在篇幅很小的段落中，遗漏了其余相关的段落后导致正确率高召回率低，粒度过大，正确率低召回率高； 词条化：将给定的字符序列拆分成一系列的子序列的过程，其中的每个子序列称作词条；
使用python生成词项词典和倒排记录表
05-24
5. 最后，将所有词项及其对应的出现次数和倒排记录表保存到磁盘上，以便后续的信息检索操作使用。 下面是一个简单的Python代码示例，用于生成词项词典和倒排记录表： ```python import jieba # 读取文本文件 with...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NoTqqa

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值