ES:倒排索引、分词详解

最新推荐文章于 2024-05-06 14:34:03 发布

焦焦^_^

最新推荐文章于 2024-05-06 14:34:03 发布

阅读量2.3w

点赞数 26

分类专栏： Elasticsearch 文章标签： ES

本文链接：https://blog.csdn.net/jiaojiao521765146514/article/details/83750548

版权

26 篇文章 5 订阅

订阅专栏

ElasticSearch引擎把文档数据写入到倒排索引（Inverted Index）的数据结构中，倒排索引建立的是分词（Term）和文档（Document）之间的映射关系，在倒排索引中，数据是面向词（Term）而不是面向文档的。

一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，有一个包含它的文档列表
示例：
对以下三个文档去除停用词后构造倒排索引
在这里插入图片描述
倒排索引-查询过程

查询包含“搜索引擎”的文档

倒排索引-组成

单词词典（Term Dictionary）
单词词典的实现一般用B+树，B+树构造的可视化过程网址:B+ Tree Visualization
在这里插入图片描述

倒排列表（Posting List）

倒排列表记录了单词对应的文档集合，有倒排索引项（Posting）组成
倒排索引项主要包含如下信息：
1.文档id用于获取原始信息
2.单词频率（TF，Term Frequency），记录该单词在该文档中出现的次数，用于后续相关性算分
3.位置（Posting），记录单词在文档中的分词位置（多个），用于做词语搜索（Phrase Query）
4.偏移（Offset），记录单词在文档的开始和结束位置，用于高亮显示

B+树内部结点存索引，叶子结点存数据，这里的单词词典就是B+树索引，倒排列表就是数据，整合在一起后如下所示
在这里插入图片描述
ES存储的是一个JSON格式的文档，其中包含多个字段，每个字段会有自己的倒排索引

倒排索引的结构

倒排索引不可变的好处

分词是将文本转换成一系列单词（Term or Token）的过程，也可以叫文本分析，在ES里面称为Analysis
在这里插入图片描述
分词器
分词器是ES中专门处理分词的组件，英文为Analyzer，它的组成如下：

分词器调用顺序
在这里插入图片描述

Analyze API
在这里插入图片描述

在Tokenizer之前对原始文本进行处理，比如增加、删除或替换字符等
自带的如下:
1.HTML Strip Character Filter：去除HTML标签和转换HTML实体
2.Mapping Character Filter：进行字符替换操作
3.Pattern Replace Character Filter：进行正则匹配替换
会影响后续tokenizer解析的position和offset信息

对于tokenizer输出的单词（term）进行增加、删除、修改等操作
自带的如下：
1.lowercase 将所有term转为小写
2.stop 删除停用词
3.Ngram 和 Edge NGram 连词分割
4.Synonym 添加近义词的term

自定义分词
自定义分词需要在索引配置中设定 char_filter、tokenizer、filter、analyzer等
在这里插入图片描述

分词使用说明
分词会在如下两个时机使用：

创建或更新文档时(Index Time)，会对相应的文档进行分词处理
查询时（Search Time），会对查询语句进行分词
1.查询时通过analyzer指定分词器
2.通过index mapping设置search_analyzer实现
3.一般不需要特别指定查询时分词器，直接使用索引分词器即可，否则会出现无法匹配的情况

分词使用建议

关注