倒排索引和正排索引的优化点

最新推荐文章于 2024-02-12 14:10:46 发布
最新推荐文章于 2024-02-12 14:10:46 发布
阅读量403 收藏
点赞数
分类专栏： 随笔记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_773/article/details/82650259
版权

搜索系统中对于索引和字典的存储主要面临两大挑战：

1.数据压缩

2.快速地检索和排序

 

正排表的存储有如下两个点来压缩数据：

1.正排表词在在DOC中出现的为止采用单调递增差分存储，这样存储这个数字序列的时候可以用尽可能少的字节数来存，达到压缩效果

 

2.在存储文档中所有WORD ID的时候在最后一个词后面插入一个NULL，并且采用非结构化方式存储可以减少很多冗余的DOCID的存储

 

iteye_773
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch 倒排索引与优化
qq_39712666的博客
09-22 641
上一篇我们说了我们可以把 Elasticsearch 看作是一个数据库，但是它被更多人知道和记住是因为它的全文检索能力，这几乎成了 ES 的代名词，全文检索的原理就是我们这一篇需要重点讲解的“倒排索引”，面试中只要出现 ES 相关的内容，那么倒排索引的问题就是必不可少的， 本篇面试内容划重点：倒排索引、设计上的优化、选主。 倒排索引 全文检索有什么用？举个例子，我们平时去图书馆找书会用检索系统来根...
使用复合键优化倒排索引
臻是二哥
11-03 139
巧用复合键优化倒排索引程序 之前写了一个倒排索引的程序，但是可以注意在到生成的索引文档中，一个单词对应的文档并非是按照词频的大小进行排列的。这不是我们最想要的结果，我们希望对应的文档按照词频的大小进行排列。 这里我们使用复合键来完成对文档的排序。 巧用复合键可以达到一些优化效果，比如说将多个细粒度的键值对合并为一个处理度的键值对，这样可以减小集群中网络的开销。  比如： 可以优化为：&...
倒排索引、正排索引，以及ElasticSearch对倒排索引的优化方法
谁谓荼苦，其甘如荠
06-22 3686
正排索引与倒排索引 首先，我们需要这两种索引方式是要干啥？其实任何一种索引模式，都对应的是不同的信息存储方式。这样不同的存储方式，主要是为了不同的查询要求而定的。正排索引和倒排索引就是如此，正排易维护，但搜索代价很大（耗时间）；倒排搜索快，但建立倒排索引时间久、文档库的每次更新都意味着倒排索引的重建，故维护较麻烦。但由于倒排索引的建立可以放在线下，所以这一般来说不是太大的问题。 正排索引 正排索引就是最普通的索引排序方式。正排索引也是采取key-value pair的方式对数据进行保存，key是doc-id
搜索引擎核心技术与算法 —— 词项词典与倒排索引优化
夕小瑶的卖萌屋
02-09 1254
作者：夕小瑶卖萌屋 —— QvQ 首先回顾一下构建倒排索引的几个主要步骤： (1)收集待建索引的文档； (2)对这些文档中的文本进行词条化； (3)对第2步产生的词条进行语言学预处理，得到词项； (4)根据词项对所有文档建立索引。可以看到，上诉过程中非常重要的一步就是获得词项，那么词项是什么，又是怎么获得的呢？ 1. 词项集合的确定 在确定词项前，我们需要明确三个概念： ...
深入理解Elasticsearch倒排索引原理与优化策略
最新发布
高性价比服务器就选：蓝易云
02-12 374
总之，Elasticsearch的倒排索引是其高效全文搜索的核心。为了提高性能和可伸缩性，Elasticsearch采用了多种优化策略，包括压缩、分片、合并、位集合和近实时搜索等。这些策略使Elasticsearch成为处理大规模文本数据的强大工具。Elasticsearch的核心之一是倒排索引（Inverted Index），它是一种高效的数据结构，用于实现全文搜索。倒排索引是一种反向索引结构，它将文档中的每个词汇映射到它出现的文档或文档的位置。
c++构建倒排索引并搜索
07-19
在计算机科学领域，倒排索引（Inverted Index）是一种高效的数据...这个项目不仅可以帮助学习者掌握C++编程，还能深入理解倒排索引的原理和实现，对于从事搜索引擎开发或文本分析的人来说，是一项非常有价值的实践。
实体识别与倒排索引优化实验数据
04-25
实体识别是自然语言处理中的一个关键任务，它旨在从文本中自动抽取...这个实验数据集为你提供了一个实践和优化实体识别和倒排索引技术的理想平台，通过实际操作，你可以深入理解这两个概念，并提升在实际应用中的技能。
C++倒排索引
03-30
倒排索引是一种高效的信息检索方法，常用于搜索引擎和数据库系统中，用于快速定位文档中包含特定单词的位置。在C++中实现倒排索引，我们可以利用STL中的数据结构和算法来帮助我们构建和操作这个索引。 首先，我们要...
倒排索引与布尔查询
10-07
对所给的Tweets数据集建立倒排索引； 实现Boolean Retrieval Model，使用TREC 2014 test topics进行测试； Boolean Retrieval Model中支持and, or ,not，查询优化可选做；
倒排索引java实现
10-02
倒排索引是一种在搜索引擎和全文检索系统中广泛使用的数据结构，它能够高效地支持关键词查询。在Java中实现倒排索引可以帮助我们快速定位到包含特定关键词的文档。本篇将详细介绍如何使用Java和IK分词器来构建倒排...
大文件查找优化方案之倒排索引
patkritLee的博客
08-26 1509
1.倒排索引 正排索引与倒排索引      咱们先来看什么是倒排索引，以及倒排索引与正排索引之间的区别：     我们知道，搜索引擎的关键步骤就是建立倒排索引，所谓倒排索引一般表示为一个关键词，然后是它的频度（出现的次数），位置（出现在哪一篇文章或网页中，及有关的日期，作者等信息），它相当于为互联网上几千亿页网页做了一个索引，好比一本书的目录、标签一般。读者想看哪一个主题相关的章
文本检索性能提升 40 倍，Apache Doris 倒排索引深度解读
SelectDB
01-26 1089
总而言之，Apache Doris 中的倒排索引显著优化了针对谓词列的过滤操作，即 SQL 查询中的 Where 子句。通过精确匹配行号，减少了存储层需要扫描的数据量，从而提高了查询性能。即使在性能提升有限的情况下，倒排索引也不会对查询效率产生负面影响。此外，倒排索引还支持轻量级的索引管理操作，如对增加或删除索引（ADD/DROP INDEX）以及构建索引（BUILD INDEX）操作进行管理。
广告倒排索引架构与优化
qq_35382207的博客
06-25 286
倒排索引架构 在广告系统中倒排索引起着至关重要的作用，当请求过来时，需要根据定向信息从倒排索引中匹配合适的广告。我们的倒排索引采用的是ElasticSearch（后面简称ES），考虑点是社区活跃，相关采集、可视化、监控以及报警等组件比较完善，同时ES基于java开发，所以调优和二次开发相对方便 先看下我们的倒排索引的架构图 这个架构设计成如上图这样，经过了下面的思考与迭代 索引问题与优化 单点与稳定性问题 采用多节点部署 其中 A builder和 B builder都是两个节点，一个主和一个备...
正排索引和倒排索引
热门推荐
岁月静好
09-23 3万+
正排索引（正向索引） 正排表是以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。 正排表结构如图1所示，这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护;因为索引是基于文档建立的，若是有新的文档加入，直接为该文档建立一个新的索引块，挂接在原来索引文件的后面。若是有文档删除，则直接找到该文档号文档对应的索引信息
倒排索引优化 - 跳表求交集 空间换时间
djph26741的博客
03-20 227
lucene中用的是ConjunctionScorer ，大致过程是每条倒排链不断的推进到小于等于当前最大节点的位置。当然实现细节还是很丰富的，作者很细心的把过程都列出来了，建议顺着读一边。这里摘抄部分： 首先把倒排链按第一个next排序： 查看0~7的倒排链的第一个和最后一个是否相同，不同就开始找；取最后一个倒排的第一个元素8作为终点， 第一个链表开始...
深入理解正排索引与倒排索引（设计思想和数据结构）
wangxuelei036的博客
06-03 1万+
深入理解正排索引与倒排索引（设计思想和数据结构）
为什么ES的搜索效率对比数据库的正排索引更快呢？
Oooo_mumuxi的博客
06-21 2748
倒排索引原理 正排索引 正排是以文档ID为关键字，表中记录文档中每个字的位置信息，查询时扫描表中每个文档中字的信息， 直到找出所有包含查询关键字的文档。 倒排索引 倒排表是以字或词作为关键字进行索引，表中关键字所对应的记录项记录了出现这个字或词的所有文档ID。 正排索引是文档ID到关键字的映射，倒排索引是从关键字到文档ID的映射 倒排索引的核心组成 1、单词词典：记录所有文档的单词，一般都比较大。还会记录单词到倒排列表的关联信息。 2、倒排列表：记录了单词对应的文档集合，由倒排索引项组成。倒排索引项包含
倒排索引优化 - 跳表
weixin_30767835的博客
09-23 359
在前面一篇介绍 倒排索引 的文章中我们知道, 两个关键字的合并操作的时候复杂度是θ(N), 如果在合并操作时遇到最极端的情况, 所扫描和比较的次数是两个列表集合的所有元素个数之和, 即是线性增长的, 这在数据量特别大的时候是很低效的. 我们还是看一下两个集合的合并操作代码示例: a = [1, 2, 3, 6, 9, 11, 45, 67] b = [4, 6, 13, 45...
电商SKU选择优化维度-倒排索引（搜索引擎原理）
doubleping的专栏
11-10 3630
SDU选择维度和复杂度优化方案
倒排索引构建与压缩技术解析
这篇描述可能来源于一篇关于倒排索引构建和压缩技术的教程或论文，作者包括Justin Zobel 和 Alistair Moffat，分别来自澳大利亚的RMIT大学和墨尔本大学。文中提到，过去十年间，倒排索引的技术有了显著进步，不仅在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值