ElasticSearch的一些概念

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/achang07/article/details/79713245

ElasticSearch是个天然分布式的搜索引擎,有一些核心概念与传统的数据库知识区别很大,这里做一下记录和整理。

分布式相关

集群

一个集群cluster由一个或者多个节点组成,具有相同的cluster.name,协同工作,分项数据和负载。当有新的节点加入或者删除了一个节点时,集群回感知到并能够平衡数据。
ElasticSearch中可以监控很多信息,有一个最重要的就是集群健康。集群健康有三个状态:green(所有主要分片和复制分片都可用),yellow(所有主要分片可用,但不是所有复制分片都可用),red(不是所有的主要分片都可用)。

节点

一个节点node就是一个ElasticSearch的实例。
集群中的一个节点会被选举为主节点master,它将临时管理集群级别的一些变更,譬如新建或者删除索引、增加或者移除节点等等。主节点不参与文档级别的变更或者搜索,所以不会成为集群的瓶颈。任何节点都可以成为主节点。
用户能够与集群中的任何节点通信,包括主节点。每一个节点都知道文档存在于哪个节点上,可以转发请求到相应的节点上。

分片

一个分片shard是一个最小级别的工作单元,仅保存了索引中所有数据的一部分。
分片就是一个Lucene实例,并且它本身就是一个完整的搜索引擎。
文档存储在分片中,并且在分片中被索引,但是程序不会直接与分片通信,而是与索引通信。

主分片

索引中的每个文档属于一个单独的主分片,所以主分片的数量决定了索引最多能存储多少数据。
索引创建完成时,主分片的数量就固定了,但是复制分片的数量可以随时调整。

复制分片

复制分片仅仅是主分片的一个副本,它可以防止硬件故障导致的数据丢失,同时可以提供读请求,比如搜索或者从别的shard取回文档。


元数据相关

一个文档不仅仅有数据,还包含了元数据(关于文档的信息)。三个必须的元数据节点是:_index,_type,_id。

索引

_inde,文档存储的地方,类似于关系型数据中的数据库。
事实上,数据被存储和索引在分片中,索引仅仅是一个把一个或者多个分片分组在一起的逻辑空间。
索引名字必须是全部小写,不允许以下划线开头,不能包含逗号。

类型

_type,对应于关系型数据库中的表。
每个类型type都有自己的映射或者结构定义,就像传统数据库表中的列一样。类型的映射会告诉ElasticSearch文档如何被索引。
_type的名字可以是大写或者小写,不能包含下划线或者逗号。

文档

文档id是一个字符串,与_index和_type组合时,就可以在ElasticSearch中唯一标识一个文档。创建文档时,可以自定义_id,也可以让ES帮助自动生成。


数据操作相关

数据相关的操作有:
索引一个文档;PUT。
检索文档,检索文档的一部分;GET,以及_source参数。
检索文档是否存在;HEAD(返回200或者404)。
更新整个文档;PUT。
创建新的文档;POST(冲突时返回409)。
删除文档;DELETE(返回200或者404)。
文档局部更新;POST,以及_update参数。
检索多个文档;_mget参数指令,docs数组参数。
批量更新;_bulk参数指令,可以包含create,index,update,delete动作。

搜索

ElasticSearch不仅会存储文档,还会索引文档内容使之可以被搜索。
搜索使用_search指令。
返回内容包括hits,took,shards,timeout。
分页参数包括from以及size,要特别关注深度分页。


映射

映射是指数据在每个字段中的解释说明。
映射机制用于进行字段类型确认,将每个字段匹配为一种确定的数据类型(string,number,boolean,date等)。
_mapping参数指令用于参数某index下某type的映射情况。
不同类型的字段的索引方式是不同的,因此会导致查询结果不同。
ElasticSearch中的数据大致分为两类:确切值,全文文本。这也是ES区别于别的数据库的根本差异。

确切值

确切值是确定的。

全文文本

全文文本,从某个角度来讲是文本化的数据,通常以人类的语言书写。

倒排索引

倒排索引由在文档中出现的唯一的单词列表,以及对于每个单词在文档中的位置组成。词terms,表征tokens。
分词,指的是标记化和标准化的过程。

核心简单字段类型

ElasticSearch支持以下简单字段类型:String(string),Whole Number(byte,short,integer,long),Floating point(float,double),Boolean(boolean),Date(date)。
当索引一个包含新字段的文档,ES将使用动态映射猜测字段类型,这个类型来自于JSON的基本数据类型(注意:如果是一个带引号的数字,ES可能将其猜测为字符串,而不是数字)。

自定义字段映射

多数情况下基本数据类型已经能够满足需求,不过也会需要自定义一些特殊类型,特别是字符串字段类型。自定义类型能够实现如下需求:
- 区分全文字符串字段和确切值字符串字段(即,是否进行分词);
- 使用特定语言的分析器;
- 优化部分匹配字段;
- 指定自定义日期格式;
- 。。。

映射的重要参数

  • type:即指定字段的类型;
  • index:控制字符串以何种方式被索引;analyzed表示全文文本形式,not_analyzed表示确切值形式 ,no表示不索引(即不能被搜索到)。string类型字段的默认值是analyzed。
  • analyzer:指定分析器(譬如whitespace,simple,english)。

复合核心字段类型

除了之前提到的简单标量类型,JSON还有null值,数组和对象;这些类型ES都支持。

多值字段

{"tag": ["elastic", "search"]}

对于数组不需要特殊的映射,任何一个字段可以包含0个,1个或者多个值,同样对于全文本字段将被分析并产生多个值。
同时这意味着数组中的所有值的类型必须统一,ES会使用数组中第一个值的类型来确定新字段的类型。
数组作为一个值的集合被对待,没有顺序。

空字段

数组也可以是空的,这等价于0个值。
Lucene没法存放null值,一个null值得字段会被认为是空字段。
如下的四个字段将被识别为空字段而不被索引。

"empty_string": "",
"null_value": null,
"empty_array": [],
"array_with_null_value": [ null ]

多层对象

内部对象经常用于在另一个对象中嵌入一个实体或者对象。
ES会动态监测新对象的字段,并映射它们为object类型,将每个字段加到properties字段下。
Lucene并不了解内部对象,一个Lucene文件包含一个键-值对应的扁平表单,所以内嵌对象的属性会通过“.”连接后的属性表示。

对象-数组

内部对象数组在Lucene中也会被扁平化处理,因而每个值的栏位会变成一个值集合,而不是有序的阵列。关联内部对象用来解决嵌套对象的问题。


分析

分析机制用于进行全文本的分词,以建立供搜索使用的反向索引。
分析的过程如下:
1.首先,标记化一个文本块为适用于倒排索引的单独的词term;
2.然后,标准化这些词为标准形式,提供它们的可搜索性或者查全率。

字符过滤器

character filter:字符过滤器的工作是在标记化之前处理字符串,字符过滤器能够去除HTML标记,或者转换“&”为“and”等工作。

分词器

tokenizer:文档被标记化为独立的词,一个简单的分词器可以根据空格或者逗号将单词分开(这个在中文中不适用)。

标记过滤

token filter:分词后每个独立的词都通过标记过滤,标记过期能够修改词(譬如将大写转换为小写,将时态进行转换),去掉词(譬如去掉“a”, “and”, “the”等连词和冠词),或者增加词(譬如同义词)。

分析器

ElasticSearch附带了一些预装的分析器,可以直接使用。

标准分析器

这是ElasticSearch默认使用的分析器。对于文本分析,它对于任何语言都是最佳选择(如果没有特殊需求的话)。标准分析器根据Unicode Consortium定义的单词边界来切分文本,然后去掉大部分的标点符号,最后把所有词转换为小写。

简单分析器

简单分析器将非单个字母的文本切分,然后把每个词转换为小写。

空格分析器

空格分析器依据空格切分文本,不转换大小写。

语言分析器

特定语言分析器适用于很多语言,能够考虑到特定语言的特性。
例如,english分析器自带一套英语停用词库,这些词被移除之后,英语单词的主体含义依旧能被理解。

注:analyze API能够查看文本是如何被分析的。


查询

简单查询语句是一种有效的命令行adhoc查询。
如果要体会搜索的强大,要是用请求体查询API,这种查询的参数以JSON格式容纳而不是查询字符串。
请求体查询并不仅仅用来处理查询,还可以高亮返回结果中的片段,并给出寻找最好结果的相关数据建议。
结构化查询是一种灵活,多表现形式的查询语言。
使用结构化查询,需要传递query参数。
查询子句:

{
    QUERY_NAME: {
        ARGUMENT: VALUE,
        ARGUMENT: VALUE,...
    }
}

查询子句像是搭积木,可以合并简单的子句为一个复杂的查询语句。

  • 叶子子句(比如match子句)用于将查询字符串与一个字段或者多个字段进行比较;
  • 复合子句(比如bool子句),用于合并其他的子句(使用must,must_not,should等进行连接);

match_all

查询所有文档,是没有查询条件下的默认语句。

match

标准查询,不论需要全文本查询还是精确查询基本上都要用到它。
如果使用match查询一个全文本字段,它会在真正查询之前用分析器先分析一下match的查询字符。
如果使用match查询确切值(譬如数字、日期、布尔值、not_analyzed字符串),ES将会搜索给定值。

multi_match

multi_match查询允许做match查询的基础上同时搜索多个字段。

bool

bool查询与bool过滤相似,用于合并多个查询子句。
不同之处在于:bool过滤可以直接给出是否匹配成功,而bool查询要计算每一个查询子句的_score。

  • must:查询指定文档一定要包含;
  • must_not:查询指定文档一定不要被包含;
  • should:查询指定文档,有则可以为文档相关性加分;

过滤

事实上有两种结构化语句:结构化查询,结构化过滤。二者非常相似,但是它们由于使用目的不同而差异。
一条过滤语句会询问每个文档的字段值是否包含特定值;
一条查询语句则询问每个文档的字段值与特定值得匹配程度如何;查询语句会计算每个文档与查询语句的相关性,给出一个相关性评分_score,并且按照相关性对匹配到的文档进行排序。
原则上来说,使用查询语句来做全文本搜索,或者需要进行相关性评分的时候;其他的情况下应该使用过滤语句。

term

term主要用于精确匹配哪些值,比如数字、日期、布尔值或者not_analyzed的字符串。

terms

terms和term有点类似,但是terms允许指定多个匹配条件。譬如某个字段指定了多个值,那么文档需要一起去做匹配。

range

range过滤允许我们按照指定范围查找一批数据。
操作符包含gt,gte,lt,lte。

exists&missing

exists和missing过滤用于查找文档中是否包含指定字段或者是否没有某个字段。

bool

bool过滤用来合并多个过滤条件的布尔逻辑。
包含如下操作符:

  • must:多个查询条件完全匹配,相当于and;
  • must_not:多个查询条件的相反匹配,相当于not;
  • should:至少有一个查询条件匹配,相当于or;

查询与过滤条件合并

查询语句和过滤语句可以放在各自的上下文中。
在ES API中可以看到许多带有query或者filter的语句,这些语句既可以包含单条query语句,也可以包含一条filter子句;也就是说,这些语句需要首先创建一个query或者filter的上下文关系。
通常情况下,一条查询语句需要过滤语句的辅助,全文本搜索除外。
search API中仅能包含query语句,所以需要用filtered来同时包含query和filter子句。
带过滤的查询语句:

GET /_search
{
    "query": {
        "filtered": {
            "query": { "match": { "email": "business opportunity" }},
            "filter": { "term": { "folder": "inbox" }}
        }
    }
}

查询语句中的过滤:

GET /_search
{
    "query": {
        "filtered": {
            "filter": {
                "bool": {
                    "must": { "term": { "folder": "inbox" }},
                    "must_not": {
                        "query": {
                            "match": { "email": "urgent business proposal" }
                        }
                    }
                }
            }
        }
    }
}

_validate API可以验证一条查询语句是否合法。

阅读更多

没有更多推荐了,返回首页