es查询的两阶段Query阶段和Fetch阶段

查询分为两个阶段：query阶段和fetch阶段

环境配置

es集群: 3node、每个node有2个副本

query阶段

query的时候,3个node中的一个会接受用户的search请求,比如node1;
1. node1在这6个主副分片中随机选择3个分片,发送search request;
2. 被选中的3个分片会分别执行查询并排序,返回from+size个文档id和排序值;
3. node1整合3个分片返回的from + size个文档id,根据排序值排序后选取from到from+size的文档id;

• 客户端发送请求到任何一个node上的时候,node就会构件一个priority queue,长度就是分页参数的from和size.默认是10.
• node对document进行路由,将请求转发到对应的node,此时会使用round-robin随机轮询算法,在primary shard以及其所有replica中随机选择一个,让读请求负载均衡.
• 每个shard本地搜索,并构建自己的priority queue,并且大小也是from+size

这里多shard下可能评分发生不准,因为_score的计算,是根据本地的tf-id情况,进行相关度评分.

• 各个shard将自己的priority queue返回给node,node将所有shard的priority queue进行merge,merge成一个from+size大小的priority queue,全局排序后的queue,放到自己的queue中.

Fetch阶段

node1根据query阶段获取的文档id列表去对应的shard上获取文档详情数据.
1. node1向相关的分片发送multi_get请求;
2. 3个分片返回文档详细数据
3. node1拼接返回的结果并返回给客户

search_type

搜索相关参数有一个search_type参数
default: query_then_fetch, 就是请求分为两次,就是上面的过程.
另一种:dfs_query_then_fetch,可以提升relevance sort精准度.

DFS在进行真正查询之前,会先把各个分片的词频率和文档频率收集一下,然后进行词搜索的时候,各分片依据全局的词频率和文档频率进行搜索和排名.
显然使用dfs_query_then_fetch这种查询方式,效率比较低,因为一个搜索,可能要请求三次,但是搜索精度比较高.

搜索的慢查询日志

可以针对query phase和fetch phase单独设置慢查询的阈值.

PUT {my_index_name}/_settings
{
"index.search.slowlog.threshold.query.warn": "1s",
  "index.search.slowlog.threshold.query.info": "500ms",
  "index.search.slowlog.threshold.query.debug": "300ms",
  "index.search.slowlog.threshold.query.trace": "200ms",
  "index.search.slowlog.threshold.fetch.warn": "1s",
  "index.search.slowlog.threshold.fetch.info": "500ms",
  "index.search.slowlog.threshold.fetch.debug": "300ms",
  "index.search.slowlog.threshold.fetch.trace": "200ms",
  "index.search.slowlog.level": "info"
}

参考链接:
https://blog.csdn.net/u013905744/article/details/109630344