Elasticsearch 如何做到快速检索 - 倒排索引的秘密

最新推荐文章于 2024-03-28 09:59:00 发布

前端罗欢

最新推荐文章于 2024-03-28 09:59:00 发布

阅读量1.2k

点赞数

分类专栏： Java 文章标签：经验分享面试 java

本文链接：https://blog.csdn.net/m0_66789766/article/details/124367148

版权

本文介绍了Elasticsearch中倒排索引的概念及其在快速检索中的作用。倒排索引通过Lucene实现，包括term dictionary、postings list等关键组件。文章详细讲解了term dictionary和term index如何加速查找，以及如何通过Frame of Reference和Roaring Bitmaps进行压缩优化，以适应大规模数据和联合查询的场景。此外，还探讨了在filter cache中如何使用Roaring Bitmaps以节省内存并提高查询性能。

摘要由CSDN通过智能技术生成

这里我们就引出了一个概念，也是我们今天的要剖析的重点 - 倒排索引。也是 ES 的核心知识点。

如果你了解 ES 应该知道，ES 可以说是对 Lucene 的一个封装，里面关于倒排索引的实现就是通过 lucene 这个 jar 包提供的 API 实现的，所以下面讲的关于倒排索引的内容实际上都是 lucene 里面的内容。

三、倒排索引

首先我们还不能忘了我们之前提的搜索需求，先看下建立倒排索引之后，我们上述的查询需求会变成什么样子，

这样我们一输入“前”，借助倒排索引就可以直接定位到符合查询条件的古诗。

当然这只是一个很大白话的形式来描述倒排索引的简要工作原理。在 ES 中，这个[倒排索引是具体是个什么样的](()

1. 几个概念

在进入下文之前，先描述几个前置概念。

term

关键词这个东西是我自己的讲法，在 ES 中，关键词被称为 term。

postings list

还是用上面的例子，{静夜思, 望庐山瀑布}是 “前” 这个 term 所对应列表。在 ES 中，这些被描述为所有包含特定 term 文档的 id 的集合。由于整型数字 integer 可以被高效压缩的特质，integer 是最适合放在 postings list 作为文档的唯一标识的，ES 会对这些存入的文档进行处理，转化成一个唯一的整型 id。

再说下这个 id 的范围，在存储数据的时候，在每一个 shard 里面，ES 会将数据存入不同的 segment，这是一个比 shard 更小的分片单位，这些 segment 会定期合并。在每一个 segment 里面都会保存最多 2^31 个文档，每个文档被分配一个唯一的 id，从0到(2^31)-1。