我的Elasticsearch系列文章,逐渐更新中,欢迎关注
0A.关于Elasticsearch及实例应用
00.Solr与ElasticSearch对比
01.ElasticSearch能做什么?
02.Elastic Stack功能介绍
03.如何安装与设置Elasticsearch API
04.如果通过elasticsearch的head插件建立索引_CRUD操作
05.Elasticsearch多个实例和head plugin使用介绍
06.当Elasticsearch进行文档索引时,它是如何工作的?
07.Elasticsearch中的映射方式—简洁版教程
08.Elasticsearch中的分析和分析器应用方式
09.Elasticsearch中构建自定义分析器
10.Kibana科普-作为Elasticsearhc开发工具
11.Elasticsearch查询方法
12.Elasticsearch全文查询
13.Elasticsearch查询-术语级查询
14.第14篇-Python中的Elasticsearch入门
15.使用Django进行ElasticSearch的简单方法
16.关于Elasticsearch的6件不太明显的事情
17.使用Python的初学者Elasticsearch教程
18.用ElasticSearch索引MongoDB,一个简单的自动完成索引项目
19.Kibana对Elasticsearch的实用介绍
20.不和谐如何索引数十亿条消息
21.使用Django进行ElasticSearch的简单方法
另外Elasticsearch入门,我强烈推荐ElasticSearch入门教程和这篇优秀的REST API设计指南 给你,这两个指南都是非常想尽的入门手册。
介绍
在本系列的第一个博客中,我们看到了在Elasticsearch中对文档建立索引时的反向索引计算,而在第二个博客中,我们看到了Elasticsearch中的映射基础。现在,在此博客中,我们将详细介绍Elasticsearch的分析部分,如何完成以及如何定制分析。
1.分析过程说明
为了了解Elasticsearch中的分析过程及其需求,我们需要对
inverted index
Elasticsearch中的创建进行更深入的了解。我们在阶段02的博客01中讨论的关于
inverted index
创建的内容是基本版本,在这里让我为倒排索引创建场景添加一些复杂性。
当我们将这些文档索引到Elasticsearch时,流程如下:
现在让我解释反向索引创建之前的每个阶段:
1.1字符过滤器
字符过滤器具有对提供给他们的输入文本执行添加,删除或替换操作的能力。为了更清楚地理解它,如果输入字符串包含重复出现的拼写错误的单词,而我们需要用正确的单词替换它,那么我们可以使用字符过滤器对此进行相同的处理。此过滤器最常见的应用之一是
html
从输入文本中剥离标签。
让我们看看使用Elasticsearch的Analyze API进行字符过滤的工作。在这里,我们将使用字符过滤器“ html_strip”从文本中删除html标签。卷曲请求如下:
curl -XPOST ‘localhost:9200/_analyze?pretty’ -H ‘Content-Type: application/json’ -d ‘{
“tokenizer”: “standard”,
“char_filter”: [
“html_strip”
],
“text”: “The Auto-generation is a success”
}’
生成的令牌如下所示:
“The”,”Auto”,”generation”,”is”,”a”,”success”
在这里我们可以看到令牌中没有html标记。同样,尝试不带的上述curl请求,
“char_filter”:[“html_strip”]
然后看看有什么不同。
1.2分词器
从“字符”过滤器转换后的输入文本将传递到令牌处理程序。令牌生成器会将输入文本拆分为特定字符处的单个令牌(或术语)。elasticsearch中的默认标记器是“标准标记器”,它使用基于语法的标记化技术,该技术不仅可以扩展到英语,还可以扩展到许多其他语言。
让我们在下面看到一个标准令牌生成器的示例:
curl -XPOST ‘localhost:9200/_analyze?pretty’ -H ‘Content-Type: application/json’ -d ‘{
“tokenizer”: “standard”,
“text”: “The Auto-generation is a success”
}’
在响应中,您可以看到文本分为以下标记:
“ The”,“ Auto”,“ Generation”,“ is”,“ a”,“ success”
在这里,只要有空格和连字符(-),单词就会被拆分。
注意:有不同类型的标记器,用于不同的目的。在某些用例中,我们可能不需要拆分特殊字符(例如,在使用电子邮件ID或url的情况下),因此为了满足此类需求,我们可以使用“ UAX URL Email Tokenizer”等标记器。可以在此处找到Elasticsearch提供的标记器列表
1.3 令牌过滤器
将输入文本拆分为标记/术语后,将其移至分析的最后阶段,即标记过滤。令牌过滤器可以作用于由令牌生成器生成的令牌,并可以对其进行修改,添加或删除。让我们尝试以上示例的令牌过滤器。我们将在这里尝试使用的令牌过滤器是小写的令牌过滤器,它将所有进入其中的令牌都小写。以下curl请求使用analyst API进行演示:
curl -XPOST ‘localhost:9200/_analyze?pretty’ -H ‘Content-Type: application/json’ -d’{
“tokenizer”: “standard”,
“filter”: [
“lowercase”
],
“text”: “The Auto-generation is a success”
}’
响应中生成的令牌如下所示:
“ the”,“ auto”,“ generation”,“ is”,“ a”,“ success”
请注意,每个标记现在都小写了。这就是小写令牌过滤器对令牌的作用。
有关Elasticsearch随附的令牌过滤器的列表
在Elasticsearch中,令牌过滤器最常见的用例之一是向单词添加同义词。从本质上讲,这意味着可以使用此过滤器将单词映射到其同义词,并且每当我们搜索同义词时,都会出现包含基础单词的文档。我们将在以后的博客中看到此方法的应用。
2.分析仪
上一节介绍了Elasticsearch分析文档中字段内容的过程。正如在上一节中提到的,有几种类型的字符过滤器,令牌化器和令牌过滤器可用,我们应该根据遇到的用例明智地选择它们。这三个组件(字符过滤器,令牌生成器和令牌过滤器)的组合称为分析器。Elasticsearch提供了几种类型的内置分析器,用于处理最常见的用例。例如,Elasticsearch的默认分析器标准分析器是标准令牌生成器和两个令牌过滤器(标准令牌过滤器,小写和停止令牌过滤器)的组合。同样,根据字符过滤器的组合,可以使用多种分析仪,
分析仪的总体结构如下所示:
我们还可以通过选择所需的过滤器和标记器来制作自定义分析器。我们将在本系列的下一个博客中看到定制分析器的制作。
3.分析阶段
现在我们对什么是分析以及什么是分析器有了清晰的了解,让我们进入在Elasticsearch中发生的分析的两个阶段,即索引时间分析和搜索时间分析。
3.1索引时间分析
让我们考虑以下文档进行索引
curl -XPOST localhost:9200/testindex-0203/testtype/1 -d ‘{
“text”: “My name is Arun”
}’
由于我们没有使用分析器,因此Elasticsearch对此应用了默认的分析器“标准分析器”。让我们在分析API的帮助下,查看上述文档与Standard Analyser一起使用时的最终标记
curl -XPOST ‘localhost:9200/_analyze?pretty’ -H ‘Content-Type: application/json’ -d’{
“analyzer”: “standard”,
“text”: “My name is Arun”
}’
用于存储在倒排索引中的令牌是:
“我的”,“姓名”,“是”,“阿伦”
倒排的索引如下表所示:
这整个过程发生在索引时间中,因此发生在名称索引时间分析中。
3.2搜索时间分析
顾名思义,搜索时间分析将在搜索时发生。但是有一个区别,就是这种分析是在查询上进行的,具体取决于所使用的查询。
3.2.1术语查询-情况1
考虑以下查询:
curl -XPOST localhost:9200/testindex-0203/testtype/_search -d ‘{
“query”: {
“term”: {
“text”: “name”
}
}
}’
如果我们对索引“ testindex-0203”运行此查询,它将返回被索引的文档作为结果。标记“名称”存在于反向索引中,并再次映射到文档1。因此,当我们搜索术语“名称”时,它将查找反向索引,并且由于找到了该术语,因此相应的文档被提取为结果。
3.2.2术语查询-案例2
现在考虑具有相同“条件”查询的另一种情况,如下所示:
curl -XPOST localhost:9200/testindex-0203/testtype/_search -d ‘{
“query”: {
“term”: {
“text”: “Name”
}
}
}’
在这里,我们使用相同的术语查询来进行查询,但是对于搜索关键字使用不同的大小写,其现在是“名称”而不是“名称”。现在发生了一些有趣的事情,此搜索不会给我们找到任何文件。这种奇怪行为的原因是,倒排索引中不存在“名称”,因此没有要显示的文档。
因此,对于“术语”查询,不允许对搜索关键字进行任何分析。
3.2.3术语查询-情况3
让我们考虑术语查询的另一种情况以查看此行为,这是查询
curl -XPOST localhost:9200/testindex-0203/testtype/_search -d ‘{
“query”: {
“term”: {
“text”: “My name”
}
}
}’
在上述情况下,没有分析搜索关键字,因此,Elasticsearch在反向索引中寻找令牌“我的名字”。并且由于此类术语不存在,因此针对上述查询,elasticsearch也将返回零结果。
在Elasticsearch中就是“条件”查询的情况。让我们尝试一个不同的查询,称为match query并检查输出。
3.2.4匹配查询-情况1
考虑以下查询:
curl -XPOST localhost:9200/testindex-0203/testtype/_search -d ‘{
“query”: {
“term”: {
“text”: “My name”
}
}
}’
这将返回带有索引文档的响应,因为反向索引中存在“名称”令牌。
3.2.5匹配查询-情况2
curl -XPOST localhost:9200/testindex-0203/testtype/_search -d ‘{
“query”: {
“match”: {
“text”: “Name”
}
}
}’
在这里,当我们对案例2使用“条件”查询时,没有任何响应。但是,对于匹配查询,无论在索引编制时将什么分析应用于要查询的字段(文本),都将对搜索关键字(“名称”)进行完全相同的分析。这使搜索关键字经历“标准分析”,并且搜索关键字“名称”更改为“名称”(由于标准分析器中的小写标记过滤器)。这个新的搜索关键字“名称”存在于反向索引中,并且响应也将具有相应的文档。
3.2.6匹配查询-情况3
curl -XPOST localhost:9200/testindex-0203/testtype/_search -d ‘{
“query”: {
“match”: {
“text”: “My name”
}
}
}’
这里给出的搜索关键字是“My name”,经过标准分析后,它将转换为关键字“我的名字”和“名字”。这两个关键字都存在于反向索引中,因此将文档作为响应返回。
因此,根据查询类型,搜索关键字将在搜索时间内进行分析(与查询的字段相同)。这称为搜索时间分析。
结论
在此博客中,我介绍了分析器的基本组成部分以及Elasticsearch中发生的分析类型。在下一个博客中,我们将看到如何针对非常特定的用例构建自己的自定义分析器。