elasticsearch中如何分析慢查询

参考：https://www.phpmianshi.com/?id=198

背景

首先，Elasticsearch中有两个版本的慢速日志：索引慢速日志（index slow logs ）和搜索慢速日志（ search slow logs）。 由于我们试图解决的问题涉及慢查询，我们将专注于搜索慢速日志。 但是，如果在索引文档/添加文档时问题，那么我们将查看索引慢速日志。

 

默认情况，慢日志是不开启的。要开启它，需要定义具体动作（query，fetch 还是 index），你期望的事件记录等级（ WARN、INFO、DEBUG、TRACE 等），以及时间阈值。

es有几种搜索模式，比如 query_then_fetch , 表示先从各个节点query到id，然后整合，再去各个节点拿具体数据

 

 

两种开启方式

一、通过修改log4j2.properties来启用慢查询：（该方式需要修改配置文件，还要重启节点，强烈建议用第二种方式）

vim log4j2.properties

index.indexing.slowlog.level: info
index.indexing.slowlog.source: 1000
#注：配置不一定都需要，自己选择需要那种级别（warn、info、debug、trace）日志，关闭的话配置成-1 就可以了，注释掉重启也可以
index.search.slowlog.threshold.query.warn: 10s  #超过10秒的query产生1个warn日志
index.search.slowlog.threshold.query.info: 5s   #超过5秒的query产生1个info日志
index.search.slowlog.threshold.query.debug: 2s   #超过2秒的query产生1个debug日志
index.search.slowlog.threshold.query.trace: 500ms #超过500毫秒的query产生1个trace日志

index.search.slowlog.threshold.fetch.warn: 1s  #fetch阶段的配置
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug: 500ms
index.search.slowlog.threshold.fetch.trace: 200ms

#Index Slow log:索引慢日志配置
index.indexing.slowlog.threshold.index.warn: 10s   #索引阶段的配置
index.indexing.slowlog.threshold.index.info: 5s  
index.indexing.slowlog.threshold.index.debug: 2s 
index.indexing.slowlog.threshold.index.trace: 500ms

 

很多文章介绍上面的配置放到elasticsearch.yml或logging.yml，我这测试重启失败，有了解的可以留言介绍下，谢谢

参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-slowlog.html

 

二、通过API动态的修改配置：

这是一个索引级别的设置，也就是说可以独立应用给单个索引：这个配置是永久的，配置后即使集群重启也会保留。如果关闭日志记录的话将选项修改成 -1 即可

PUT /_all/_settings
{
    "index.search.slowlog.threshold.query.warn": "5s",
    "index.search.slowlog.threshold.query.info": "2s",
    "index.search.slowlog.threshold.query.debug": "1s",
    "index.search.slowlog.threshold.query.trace": "400ms",
    "index.search.slowlog.threshold.fetch.warn": "1s",
    "index.search.slowlog.threshold.fetch.info": "800ms",
    "index.search.slowlog.threshold.fetch.debug": "500ms",
    "index.search.slowlog.threshold.fetch.trace": "200ms",
    "index.indexing.slowlog.threshold.index.warn": "5s",
    "index.indexing.slowlog.threshold.index.info": "2s",
    "index.indexing.slowlog.threshold.index.debug": "1s",
    "index.indexing.slowlog.threshold.index.trace": "400ms"
}

查询慢于 10 秒输出一个 WARN 日志。
获取慢于 500 毫秒输出一个 DEBUG 日志。
索引慢于 5 秒输出一个 INFO 日志。

 

这是一个集群级别的设置：一旦阈值设置过了（可以在 elasticsearch.yml 文件里定义这些阈值。没有阈值设置的索引会自动继承在静态配置文件里配置的参数），你可以和其他日志器一样切换日志记录等级。这个API简单试了下，没效果。并没有改变日志记录级别。而且我没找到集群级别的设置慢查询阈值的API。有知道的发个链接（QQ:1250134974）

PUT /_cluster/settings
{
    "transient": {
        "logger.index.search.slowlog": "DEBUG",
        "logger.index.indexing.slowlog": "WARN"
    }
}

设置搜索慢日志为 DEBUG 级别。设置索引慢日志为 WARN 级别。

 

工具1：Profile API

Profile API提供有关搜索的信息页面，并分解每个分片中发生的情况，直至每个搜索组件（match/range/match_phrase等）的各个时间。 搜索越详细，_profile输出越详细。

GET /my_index/_search
{
    "profile": true,
    "query": {
        "bool": {
            "filter": [{
                "term": {
                    "l_id": 48
                }
            }]
        }
    }
}

 

 

工具2：Kibana profiling 工具

这与_profileAPI密切相关。 它提供了各个搜索组件的完美的可视化效果表征各个分解阶段以及各阶段查询的时间消耗。 同样，这允许您轻松选择查询的问题区域。

 

参考

更多优化和常见问题参考：

https://www.phpmianshi.com/?id=216