ElasticSearch 倒排索引

引言

Elasticsearch，简称ES，是一个开源的、高扩展的分布式全文检索引擎。它使用Java开发，并基于Lucene作为其核心来实现所有索引和搜索功能。Elasticsearch通过简单的RESTful API来隐藏Lucene的复杂性，提供近乎实时的数据存储、检索和分析能力。本文将详细介绍ElasticSearch中倒排索引。

一、倒排索引的理解

        倒排索引（Inverted Index），也常被称为反向索引、置入档案或反向档案，是一种用于快速查找文档或文档集合中包含特定词汇的数据结构。在倒排索引中，索引不是由记录来确定属性值，而是由属性值（即单词或关键词）来确定记录（即文档）的位置，因此得名“倒排”。倒排索引的概念是基于MySQL这样的正向索引而言的。

二、正向索引

那么什么是正向索引呢？例如给下表（ tb_goods ）中的 id 创建索引：

图一

如果是根据 id 查询，那么直接走索引，查询速度非常快。

但如果是基于 title 做模糊查询，只能是逐行扫描数据，流程如下：

1 ）用户搜索数据，条件是 title 符合 "% 手机 %"

2 ）逐行获取数据，比如 id 为 1 的数据

3 ）判断数据中的 title 是否符合用户搜索条件

4 ）如果符合则放入结果集，不符合则丢弃。回到步骤1（如图二所示）

图二

逐行扫描，也就是全表扫描，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万时，就是一场灾难。

三、倒排索引

倒排索引中有两个非常重要的概念：

文档（ Document ）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息。

词条（ Term ）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词

条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条。

创建倒排索引 是对正向索引的一种特殊处理，流程如下：

将每一个文档的数据利用算法分词，得到一个个词条

创建表，每行数据包括词条、词条所在文档 id 、位置等信息

因为词条唯一性，可以给词条创建索引，例如 hash 表结构索引

如图三所示：

图三

倒排索引的 搜索流程 如下（以搜索 " 华为手机 " 为例）：

1 ）用户输入条件 " 华为手机 " 进行搜索。

2 ）对用户输入内容 分词 ，得到词条： 华为 、 手机 。

3 ）拿着词条在倒排索引中查找，可以得到包含词条的文档 id ： 1 、 2 、 3 。

4 ）拿着文档 id 到正向索引中查找具体文档。

如图四所示：

图四

虽然要先查询倒排索引，再查询索引，但是无论是词条、还是文档 id都建立了索引，查询速度非常快！无需全表扫描。

四、正向索引和倒排索引的区别及优缺点

那么为什么一个叫做正向索引，一个叫做倒排索引呢？

正向索引 是最传统的，根据 id 索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判

断文档中是否包含所需要的词条，是 根据文档找词条的过程 。

而 倒排索引 则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的 id ，然后根据 id

获取文档。是 根据词条找文档的过程 。

正向索引 ：

优点：

可以给多个字段创建索引

根据索引字段搜索、排序速度非常快

缺点：

根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引 ：

优点：

根据词条搜索、模糊搜索时，速度非常快

缺点：

只能给词条创建索引，而不是字段

无法根据字段做排序