es中索引那些事

0、前言

在了解倒排索引之前先理解下索引的作用：

查询数据的时候，最耗时的操作并不是CPU计算，也不是内存聚合，而是去磁盘将文档查到并拉取回来的过程。我们都知道在磁盘IO的过程中，顺序读写效率高于随机读写，磁盘的查找次数也决定最终的响应时间。在使用索引的过程中，我们将数据按照指定方式顺序存放好，然后利用各种数据结构(b树、b+树、倒排索引)等来减少我们查询数据的次数，提高定位和获取数据的效率，这就是索引的作用。

1、什么是倒排索引

简单点说普通索引是key找value，那倒排索引就是value找key。

比如mysql的结构是这样的

id	name	sex
1	李三	男

在es倒排索引里是这样的：其中term称为词项，是经过分词器处理后的结果；docId是文档id，根据文档id来获取当前文档的内容。

Term	docId
李三	1
男	1

在ES中将所有的词项通过字典顺序排列好后存储起来，这个数据结构叫词项字典(Term Directory)。实际业务中每一个词项并不只存在一个文档中，而是关联一个文档id的列表，ES中称为Posting List(关联文档ID的列表)。并且ES将词项的前缀(Term Index)拿出，构建了一个FST（相当于Term Directory的index）

 因为查索引是磁盘随机IO，而将词项字典抽出来一个词项索引树，放在内存中从而大大增加IO效率。并且词项字典是分区存放，利用公共前缀进行压缩，可以做到更节省空间。

2.联合索引查询

mysql中使用索引查询时，只会使用单一索引进行查询，而es中使用倒排索引查询则是取每个词项中对应的文档list做交集处理。

而es对交集的处理有两种方式：跳表、bitset

什么是跳表

将一个有序链表level0，挑出其中几个元素到level1及level2，每个level越往上，选出来的指针元素越少，查找时依次从高level往低查找。这种链表加多级索引的结构，就叫做跳表。

 跳表方式

以下取出两个索引的文档id集合，取其交集，如果tab1的跳表如上图所示有一个level1索引，那么取交集过程就为（短找长）

>tab2:2，tab1没有跳过;tab2:24，tab1通过1-18检索没有跳过

->tab2:25, tab1通过1-18-25检索有，id=25存入结果集

->tab2:27, tab1跳过，重复，直到找到37，id=37写入结果集。

如果没有跳表找30这样的元素需要1-3-5-8-18-25-30，而有跳表则只需要1-18-25-30。

Tab1：

1

3

5

8

18

25

30

33

37

Tab2：

2

24

25

27

29

31

33

bitset方式

一个list为[1,3,5,6]，另一个为[1,4,6,7]

那么两个list对应的bitset

bit位	1	2	3	4	5	6	7
List1	1	0	1	0	1	1	0
List2	1	0	0	1	0	1	1
List1&List2结果	1	0	0	0	0	1	0

 通过&两个list的bit位可以得到1和6的文档id符合要求，最终返回1、6的文档数据

3.倒排索引结构压缩

倒排索引结构压缩中结构压缩的方式有两种：Frame Of Reference 和 Roaring Bitmap 。

Frame Of Reference

该压缩方式是进行做差压缩存储bit位，来节省存储空间。

例：这样一个PostingList：[1,3,13,101,105,108,255,256,257]

将这个做差后，按bit存：[1,2,10,88,4,3,147,1,1]

然后分到不同的block里面（跳表方式）：[1,2,10],[88,4,3],[147,1,1] 

在分到不同的block的同时计算每一个block中数据所占用的最大位数，如第一个block中10是当前block中最大的数据，以最大的数据为基准，算出占用的bit大小，2*3<10<2*4,取4bit。

而这个block中有3个元素，则是3*占用最大的bit=3*4=12bit，/8转换为字节Byte,一个Byte放不下，需要2Byte。

计算出多个block中所占用的总Byte=2+3+3=8Byte，共节省了36-8=28Byte

 Roaring Bitmap

根据高16位（2*16=65536）把PostingList切分成不同的block，这时每个block中的每个值最大为65535（2*16-1）,16bit占两个Byte。