简单聊聊 倒排索引

简单聊聊 倒排索引

1、概念

​  倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下 某个单词 在一个文档或者一组文档中的存储位置的 映射，它是文档检索系统中最常用的数据结构。

​  通过倒排索引，可以根据单词快速获取包含这个单词的文档列表，倒排索引主要由两个部分组成：“单词词典” 和 “倒排文件”。

---

拓展：

​  倒排索引有两种不同的反向索引形式：

• 一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。
• 一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文档中的位置。

---

2、流程

​  搜索引擎（ES）会将存储的数据文档通过分词器（IK 分词器）划分为多个单词，再根据单词建立倒排索引表。当输入检索句子时，搜索引擎会将该句子进行分词，然后对照倒排索引表计算与各数据文档的相关性得分，最终返回与该句子相关性得分最高的文档。

​  核心：分词，建立单词索引表，计算相关性得分。

3、例子

文档：

• Doc1：PHP 是世界上最好的编程语言。
• Doc2：Java 是世界上最好的编程语言。
• Doc3：C 是世界上最好的编程语言。
• Doc4：C++ 是世界上最好的编程语言。
• Doc5：Python 是世界上最好的编程语言。

倒排索引：

单词ID	单词	倒排列表
1	PHP	1
2	世界上	1,2,3,4,5
3	编程语言	1,2,3,4,5
4	Java	2
5	C	3
6	C++	4
7	Python	5

​  当输入 “Java 编程语言“ 时，分词器会将它分为 ”Java“、”编程语言“ 两个单词，然后对照 倒排索引 表 计算 与各文档的相关性得分，由倒排索引表中可以看出，“Java”、”编程语言“ 这两个单词在 Doc2 的符合度最高，因此返回 Doc2：Java 是世界上最好的编程语言。

​