深入理解ES的倒排索引

最新推荐文章于 2024-10-05 03:56:06 发布
最新推荐文章于 2024-10-05 03:56:06 发布
阅读量1.9k 收藏 24
点赞数 18
分类专栏： elasticsearch 大数据 文章标签： elasticsearch 大数据 搜索引擎 倒排索引 FOR压缩算法 RBM压缩算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianmlin1/article/details/136082688
版权
本文详细介绍了Elasticsearch中的倒排索引结构，包括词项字典、倒排表以及FOR和RBM算法在数据处理中的应用。重点讲解了ArrayContainer和BitMapContainer两种数据结构，以及它们在不同场景下的优势。
摘要由CSDN通过智能技术生成

目录

数据写入过程

词项字典 term dictionary

倒排表 posting list

FOR算法

RBM算法

ArrayContainer

BitMapContainer

词项索引 term index

在Elasticsearch中，倒排索引的设计无疑是惊为天人的，下面看下倒排索引的结构。

倒排索引分为词项索引【term index】、词项字典【term dictionary】、倒排表【posting list】

数据写入过程

先看一个原始数据录入的过程，原始数据录入的过程包含切词、规范化、去重、字典化等这么几个步骤，

I am going to bejing这句话，

切词就是将这段英文按照空格进行字段切分，这个就是所谓的分词器的功能，中文也有自己的分词器，当然还可以自定义分词器

分完词以后就是规范化，规范化的过程就是去掉一些语气词，过去分词、现在分词转换成同义词，比如将going转换成go

去重很简单，就是去掉一些重复的词项

字典化就是将这个数据保存起来，用一个id做出对应的映射

词项字典 term dictionary

就是将一段话进行分词以后得到的结果，比如上面的话就会得到go 、bejing等基础信息，可以看到词项字典的数量是原始数据的很多倍

词项字典的数据结构是FST

在介绍FST之前，先介绍下prefix Tree，前缀树的优点是能充分的利用数据空间，比如abc，和abcd这两个词，底层可以共用abc，这样就能大大的节省数据存储占用的空间

但是前缀树有一个缺点就是比如fbcd，这个词的bcd和abcd的后四位是相同的，但是因为前缀树的特点，后四位不能充分利用

而FST是在前缀树的基础上做了改进，能够充分的利用相同的字符来存储，大大提升存储的效率。

倒排表 posting list

倒排表的数据结构是一个有序的数组，数组中记录的是当前词项对应原始数据的id，比如bejing这个词项有很多原始数据对应，id有1,3,5,7

倒排表有两种常见的压缩算法

FOR算法

FOR算法的全称是frame of reference，这个算法的流程大致如下

  • 原始数据比如是[1,3,6,7]这样，可能很长，在java中一个int是占用4个字节，可能通过切分词以后，倒排表的数据占用空间比原始数据还要大
  • 这个时候，因为数组是有序的，可以将数组的每一项都减去前一项来代替当前的值，比如[1,2,3,1]
  • 可以看到，通过这个简单的变形，倒排表的数组中的数据都减小了
  • 然后就可以通过更小的bit来表示一个int的数，比如我可以用3个bit来表示上面的每一个数，这样的数据占用空间就会小很多，极限的情况下数组是连续的，可以使用一个bit来表示一个int数，可以减少到原来的1/32
  • 当然实际情况下，数组不一定是连续的，这个时候可能就会使用分组了，比如3,5,7我使用4个bit来表示，6787，35465，,44656使用14bit来表示，这样想比使用32bit可以节省不少空间

从网上找到一张图，可以很好的说明这个算法

通过上面的案例可以发现，FOR算法的适用场景是，倒排表的数据排列比较稠密，即相邻元素之间的差值比较小，差值比较小，就可以使用更少的bit来表示一个int的数字了。 

RBM算法

记住是RBM，不是RMB，不是RMB，不是RMB

RBM算法的全称是roaringBitMap

可以考虑倒排表中的元素大小是N，N的范围是【0,2^32-1】，因为int是32bit

那么将N/65536这个结果M是多少呢？他的余数K是多少呢

65536是2的16次幂，那么这个M的范围就是[0,65535]，毫无疑问N的范围也是[0,65535]

可以看到M就是当前元素N的高16位，K就是当前元素N的低16位

那么，可以设置这样一个数据类型

short在java中是占用2个字节，也就是2*8=16bit，16位bit最大能表示就是65535

ArrayContainer

Map<short,List<Short>>

解释下这个数据结构

key存储的是当前N的的高16位，即M，然后将这个倒排表中所有高位都是M的其他元素的低16位K汇总，聚集成一个数组，因为有合并和压缩，很显然，这种数据结构能节省不少空间，实际占用的空间随着元素的个数成正比

BitMapContainer

Map<short,bitMap>

解释下这个数据结构，key一样的含义，就不说了，因为低16位的值的范围是[0,65535]不重复的，可以通过一个bit数组来表示，这个bit数组的长度是65535，当一个元素经过计算命中了，就将对应下标的bit数组的值改成1

可以看到通过这种方式，占用的空间是固定的，65536/8/1024等于8k

从网上扒来一张图，能很好的说明这两个容器的差异点

以上两个容器，当元素的个数在4096个的时候，达到了平衡，当大于4096个，使用bitMap这个数据结构更加合理，在元素的个数小于4096个时候，使用array这个数据结构更加合理。

这个算法使用的场景是，数组中的元素比较大，同时两个元素之间的间隔很大

词项索引 term index

词项索引的设计是为了更快的找到对应的词项字典

林犀居士
关注
专栏目录
【Elasticsearch】倒排索引原理
九师兄
07-04 992
1.概述 转载：elasticsearch 倒排索引原理 本文写的不错。 网上看到的一篇文章，对Lucene的倒排索引是如何执行的，说的比较易懂，就转过来分享下。 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的b-tree索引快在哪里？到底为什么快呢？ 笼统的来说，b-tree索引是为写入优化的索引结构。当我们不需要支持快速的更新的
Elasticsearch之倒排索引
01-20
倒排索引 Elasticsearch通过倒排索引的数据结构来实现全文搜索 在关系数据库系统里，索引是检索数据最有效率的方式。但对于搜索引擎，它并不能满足其特殊要求，比如海量数据下比如百度或者谷歌要搜索百亿级的网页，如果使用类似关系型数据库使用的B+树索引，可想而知其对cpu的计算能力要求得有多高。其次关系型数据库中一般存储的都是结构化的数据，数据格式都是一定的，操作上一般也都是curd等比较简单的操作。 倒排索引区别于正向索引，一般的倒排索引被用来做全文搜索。比如现在有一本10w字的书，单词使用量为3k，我要从中搜索某个词出现的章节，我们该怎么做？ 正排索引：遍历这本书，记录该次出现的章节。我
es_倒排索引详解
chuige2013的博客
03-07 2161
这也许是你全网你能找到的最详细的倒排索引的底层解读。博主把倒排索引的讲解划分为以下七个部分，理解难度递增，可根据自身需要选择依次阅读或者针对性阅读。通常来说，应付一般的面试，理解第一部分即可。如果需要面试搜索相关业务的岗位，需要深层次理解倒排索引，可根据自身情况选择阅读。
Elasticsearch中的倒排索引
qq_57494486的博客
09-29 635
Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 搜索和分析引擎。Elasticsearch 之所以能在海量数据中快速搜索，得益于其内部采用的倒排索引技术。倒排索引（Inverted Index）是相对于传统的正向索引（Forward Index）而言的。在正向索引中，数据是以文档（Document）为单位进行存储的，每个文档包含了多个字段（Field），字段则是由词条（Term）组成。
ES -倒排索引
tian830937的专栏
01-28 2622
倒排表以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图1展示了其含义。下图的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。从纵向即文档这个维度来看，每列代表文档包含了哪些单词，比如文档1包含了词汇1和词汇4，而不包含其它单词。从横向即单词这个维度来看，每行代表了哪些文档包含了某个单词。
ES-倒排索引
2302_77039865的博客
07-28 1652
倒排索引(Inverted lndex):是指实现"单词-文档矩阵"的一种具体存储形式.通过倒排索引,可以找到用户输入的词条 , 获取包含这个词条的文档id , 再通过文档id获取到对应的文档.倒排索引主要由两个部分组成:“单词词典”和“倒排文件”.
es 倒排索引
qq690452074的专栏
01-08 185
https://blog.csdn.net/qq_41864967/article/details/100107808 在搜索引擎中，每个文档都有一个对应的文档 ID，文档内容被表示为一系列关键词的集合。 例如，文档 1 经过分词，提取了 20 个关键词，每个关键词都会记录它在文档中出现的次数和出现位置。 那么，倒排索引就是关键词到文档 ID 的映射，每个关键词都对应着一系...
ElasticSearch倒排索引原理 数据的写入与查询过程
B-Duck-No1
08-26 2032
Elasticsearch在生产中充当的角色 业务上，最早启用Elasticsearch（下称ES）是为了解决模糊查询的问题。具体业务场景为大量抓取回来的短视频内容、热门微博、公众号文章、小红书笔记、信息流新闻文章等，需要支持用户模糊查找，而随着每日新增的内容越来越多，这些信息已经积累到单个媒体数千万近亿的数量，因此依靠MySQL的模糊查询是无法满足性能上的要求，考虑引入对应的搜索引擎来解决，于是...
文本全文搜索引擎 利用倒排索引实现
02-22
在这个主题中，我们将深入探讨倒排索引的概念、工作原理以及在Python中的实现。 **倒排索引概念** 倒排索引（Inverted Index）是一种用于快速查找文档中包含特定词汇的数据结构。与传统的正向索引（记录每个词出现...
ElasticSearch的一点结构理解「倒排索引」&&「分片」
shaun的博客
08-23 442
文章目录前言一、倒排索引是什么？TermTerm DictionaryPosting ListInverted File二、什么是分片1.5.X 和 7.X 版本区别2.读入数据总结 前言 在之前工作中，简单接触过es，当时对这个中间件没有留意，只知道是个很厉害的‘东西’，现在回想起总感觉错过了些什么，决定渐渐深入的了解一下这个厉害东西，后面还会慢慢迭代出更深的理解 想要深入学习的同学请关注：铭毅天下 一、倒排索引是什么？ 顾名思义，索引‘倒’过来，拿我们基本都用过MySQL来举例子，MySQL的索引大
ElasticSearch倒排索引原理与代码实例讲解
最新发布
AI天才研究院
10-05 1132
ElasticSearch倒排索引原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着互
es_倒排索引
yang_zzu的博客
01-22 2482
目录 es, 倒排索引优点 新增修改数据 Segment合并 fsync和fdatafsync es, 倒排索引优点 倒排索引是不可更改的，一旦它被建立了，里面的数据就不会再进行更改。这样做就带来了以下几个好处： 1. 不用给索引加锁，因为不允许被更改，只有读操作，所以就不用考虑多线程导致互斥等问题。 2. 索引一旦被加载到了缓存中，大部分访问操作都是对内存的读操作，省去了访问磁盘带来的io开销。 3. 倒排索引具有不可变性，所有基于该索引而产生的缓存也不需要更改，因为没有数据变更。 4
ES---倒排索引
shall潇の菜园
03-17 2128
ES—倒排索引 【前言】 Elasticsearch 是通过 Lucene 的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在 18 和 30 之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的 b-tree 索引快在哪里？到底为什么快呢？ 笼统的来说，b-tree 索引是为写入优化的索引结构。当我们不需要支持快速的更新的时候，可以用预先排序等方式换取更小的存储空间，更快的检索速度等好处，其代价就是更新慢。要进一步深入的化，还是要看一下 L
ES之倒排索引
weixin_42128977的博客
11-05 7329
我们对“cat”、 “deep”、 “do”、 “dog” 、“dogs”这5个单词进行插入构建FST（注：必须已排序）。文档中的每个字段，都有自己的倒排索引。，简单的了解了倒排索引的概念。这样当我们去搜索某个关键词时，为了进一步提升索引的效率，与其对应的文档列表建立。的前缀或者后缀构建了。
ElasticSearch（es）倒排索引
qq_52897007的博客
07-28 1378
通过上述机制，Elasticsearch 能够高效地处理各种复杂的全文搜索请求。索引构建时采用的分析器确保了文档能够被正确地拆解为词条，而倒排索引的设计则允许快速定位包含特定词条的文档集合。同时，通过多种优化技术和缓存策略，Elasticsearch 保证了高性能和高可用性。3. 正向和倒排那么为什么一个叫做正向索引，一个叫做倒排索引呢？正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。而倒排索引。
倒排索引：ES倒排索引底层原理及FST算法的实现过程
Elastic开源社区
08-08 1万+
这也许是你全网你能找到的最详细的倒排索引的底层解读。博主把倒排索引的讲解划分为以下七个部分，理解难度递增，可根据自身需要选择依次阅读或者针对性阅读。通常来说，应付一般的面试，理解第一部分即可。如果需要面试搜索相关业务的岗位，需要深层次理解倒排索引，可根据自身情况选择阅读。本文花费了作者大量的精力来论证和整理，如果你喜欢作者的文章，请帮忙点个赞和关注吧 O(∩_∩)O ~。谢谢大家的支持。提到ES，大多数爱好者想到的都是搜索引擎，尽管这是个误区，但是也不得不提。大数据搜索最重要的三个要素分别是 “快”、“准”
es 倒排索引简介
Java持续实践
01-09 505
es是面向文档型数据库, 一条数据是一个文档. es与关系型数据库的类比: 倒排索引 正向索引 : 根据id , 查询内容. 如果要根据内容查询, 传统的关系型数据库, 只能全表查询, 并且无法大小写都能查等功能. 把关键字 与文章的id进行关联. 强调的是关键字与文档的关联, 表的作用不明显, 因此在es6.x中, 一个index只能包含一个type. 而在es7.x中, type的概念已经被剔除了. ...
ES底层原理之倒排索引
spirit_8023的博客
06-27 1986
ElasticSearch底层原理、倒排索引
ES之倒排索引详解
热门推荐
wh柒八九的博客
07-17 2万+
本文来说下ES的倒排索引，如果你说使用过ES，那么倒排索引大概率是问你的第一个关于ES的问题，然后根据你的回答，会深入提问。 文章目录概述 概述
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值