Elasticsearch是如何通过倒排索引来查询数据的

简介

传统的我们的检索是通过文章,逐个遍历找到对应关键词的位置.
而倒排索引,是通过分词策略,形成了词和文章的映射关系表,这种词典+映射表即为倒排索引(Inverted Index).
有倒排索引就有正排索引.通俗的来讲,正排索引是通过key来找value,反向索引是通过value来找key
有了倒排索引,就能实现O (1) 时间复杂度的效率检索,极大的提高了检索效率

批量添加一些数据

POST _bulk
{"index":{"_index":"user","_id":"1"}}
{"name":"张三","gender":"1","age":21,"address":"北京市朝阳区"}
{"index":{"_index":"user","_id":"2"}}
{"name":"李四","gender":"2","age":22,"address":"北京市海淀区"}
{"index":{"_index":"user","_id":"3"}}
{"name":"王五","gender":"1","age":23,"address":"深圳市宝安区"}
{"index":{"_index":"user","_id":"4"}}
{"name":"赵六","gender":"1","age":23,"address":"朝阳市双塔区"}

在这里插入图片描述

es再储存这些数据时,就使用到了倒排索引,主要是基于分词的策略来生成倒排索引
以address字段为例:

  1. 首先要对字段内容进行分词,分词就是将一段连续的文本按照语义拆分为多个单词(Term)
  2. 然后按照单词来作为索引,对应的文档(Document) id建立一个链表,就能构成倒排索引结构
TermDocument id
北京市[1,2]
深圳市3
朝阳市4
朝阳[1,4]
朝阳区1
海淀区2
宝安区3
双塔区4

倒排索引的另一部分为倒排列表(Postings List), 倒排列表由所有的Term对应的数据(Postings)组成,它不仅仅只有文档id信息;包含但不限于以下信息:

  • 文档(Document)id:包含单词的所有文档的唯一id,用于去正排索引中查询原始数据
  • 词频: 记录Term出现的次数,用于后续查询得分(_score)
  • 位置: 记录Term再每个文档中的分词位置
  • 偏移量:记录Tern再每个文档中的开始和结束的位置

当我们进行检索时,就会到倒排列表中查询我们传过来的单词到倒排列表中去获取文档id,然后将整条数据返回给我们
在这里插入图片描述
倒排索引的底层实现是基于:FST(Finite State Transducer)数据结构.FST 有两个优点:

  1. 空间占用小.通过对词典中单词前缀和后缀的重复利用,压缩了存储空间.
  2. 查询速度快.O(len(str))的查询时间复杂度.

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:技术工厂 设计师:CSDN官方博客 返回首页
评论

打赏作者

.番茄炒蛋

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值