ElasticSearch面试题

什么是ES？

es是基于lucene的搜索引擎， 它提供了具有Http Web界面和JSON文档的分布式的全文搜索引擎。

ES中查询语法

es主要使用两种类型的查询语法：

• Lucene查询语法
• 基于json的DSL查询语法

详细描述一下ElasticSearch索引文档的过程

协调节点默认使用文档ID参与计算，以便为路由提供合适的分片。

当分片所在的节点接收到来自协调节点的请求后，会将请求写入Memory Buffer，然后定时写入到Filesystem Cache。这个从Memory Buffer到Filesystem Cache的过程就叫做refresh。

在某些情况下，存在Memory Buffer和Filesystem Cache的数据可能会丢失，ES是通过translog的机制来保证数据的可靠性的。其实现原理是接收到请求后，同时也会写入到translog中，当Filesystem cache的数据写入到磁盘中时，才会清除掉，这个过程叫做flush。

在flush过程中，内存中的缓存将会清除，内存被写入一个新段，段的fsync将创建一个新的提交点，并将内容刷入磁盘，旧的translog将被删除，并开始一个新的translog。

flush触发的时机是定时触发（默认30分钟）或者translog变得太大（默认为512M）时。

ElasticSearch是如何实现Master选举的？

ES选主是通过ZenDiscovery负责的，主要包含Ping和Unicast来实现

对于所有可以成为master的节点，根据nodeId字段排序，每次选举每个节点都把自己所知道的节点拍一次序，然后选出第一个节点，暂且作为master节点

如果对某个节点的投票数达到一定的值（可以成为master节点数n/2+1）并且该节点自己也选举自己，那这个节点就是master。否则重新选举一直到满足上述条件。

master节点的职责主要包括：集群、节点和索引的管理

获取分片id的算法

分片id借助路由算法获取。路由算法就是根据路由和文档id计算目标id的过程

shard = hash(document_id) % (number_of_primary_shards)

ES中的集群、节点、索引、文档、类型是什么？

集群是一个或多个节点的集合，他们共同保存数据，并提供跨所有节点的联合索引和搜索功能。群集由唯一名称标识，默认情况下为“elasticsearch”。此名称很重要，因为如果节点设置为按名称加入群集，则该节点只能是群集的一部分。

节点时属于集群一部分的单个服务器。他存储数据并参与集群的索引和搜索功能

索引：就像关系数据库中的数据库。他有一个定义多种类型的映射。索引是逻辑名称空间，映射到一个或多个主分片，并且可以拥有一个或多个副本分片

分片：索引通常被分割成分布在多个节点上的分片

副本：副本是分片的副本，

文档：类似数据库中的一行

类型是索引的逻辑分区/类别

段segment：一个索引可以包含多个段，段与段之间是独立的，添加新文档可以生成新的段，不同的段可以合并。段是索引数据存储的单元‘

字段field：一个文档可以包含多个列，是lucene数据索引的最小定义单位

Term是搜索语法的最小单位，复杂的搜索语法会分解成一个Term查询，他表示文档的一个词语，Term由两部分组成：它表示的词语和这个词语所出现的Field。

ES写数据流程

• 客户端选择一个node发送请求过去，这个node就是coordinating node（协调节点）
• coordinating node对document进行路由，将请求转发到对应的node（由primary shard）
• 实际的node上的primary shard处理请求，然后将数据同步到replica node
• coordinating node如果发现primary node和所有的replica node都搞定之后，就返回响应结果给客户端

ES读数据流程

可以通过doc id来查询，会根据doc id进行hash，判断出来当时把doc id分配到了哪个shard上去，从那个shard去查询。

• 客户端发送请求到任意一个node，称为coordinating node
• coordinating node对doc id进行hash路由，将请求发送到对应的节点，此时会使用round-robin随机轮询算法，在primary shard以及所有的replica中随机选取一个，让读请求负载均衡
• 接收请求的node返回document给coordinating node
• coordinating node返回document给客户端

写请求是写入primary shard，然后同步给所有的replica shard；读请求可以从primary shard或replica shard读取，采用的是随机轮询算法。

ES搜索数据的过程

Query Then Fetch：先获取文档ID，在获取数据

• 客户端发送请求到coordinating node
• 协调节点将搜索请求转发到所有的shard对应的primary shard或replica shard
• query phase：每个shard将自己的搜索结果返回给协调节点，由协调节点进行数据的合并、排序、分页等操作，最终产出结果
• fetch phase：由协调节点根据doc id去各个节点上拉取实际的document数据，最终返回给客户端

ES对于大数据量的聚合如何实现

提供了近似聚合cardinality度量，

其特点是：可配置的精度，用来控制内存的使用（更精确 ＝ 更多内存）；小的数据集精度是非常高的；我们可以通过配置参数，来设置去重需要的固定内存使用量。无论数千还是数十亿的唯一值，内存使用量只与你配置的精确度相关

删除和更新原理

一个文档被删除时，它实际上只是在.del文件中被标记删除。一个被标记删除的文档仍然可以被查询到，但是会在返回前从结果集中移除。

文档更新也是类似的操作：文档被更新时，旧版本文档被标记删除，文档的新版本被索引到新的断中

端合并时会将旧的已删除文档从文件系统中清楚。被删除的文档不会被拷贝到新的段中

merge操作，段合并

由于每秒会把buffer刷到segment中，所以segment会很多，为了防止这种情况，es内部会不断的把相似大小的segment合并，并且物理删除del的segment

底层lucene

简单来说，lucene就是一个jar包，里面包含了封装好的各种建立倒排索引的算法代码。用java开始时，引入lucene的jar，然后基于lucene的api去开发就可以了

倒排索引

在搜索引擎中，每个文档都有一个对应的文档ID，文档内容表示为一系列关键字的集合。例如，文档经过一次分词，提取了20个关键字，每个关键字都会记录它在文档中出现的次数和位置

倒排索引就是关键字到文档id的映射，每个关键字都对应着一系列的文件，这些文件中都出现了关键字

有了倒排索引，搜索引擎可以方便的响应用户的查询

倒排索引的两个重要细节：

• 倒排索引中的所有词项对应一个或多个文档
• 倒排索引中的词项根据字典顺序升序排列

Translog详解

translog是用来恢复数据的。ES用后写的套路加快写入速度——写入的索引并没有实时落盘到索引文件，而是双写到内存和translog中

参考

ElasticSearch面试必考 https://blog.csdn.net/abcd1101/article/details/89010070