[ElasticStack系列]elasticsearch查询api

最新推荐文章于 2024-03-14 14:31:03 发布
最新推荐文章于 2024-03-14 14:31:03 发布
阅读量784 收藏
点赞数
分类专栏： Elastic 监控 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinzhencs/article/details/77884866
版权

1.查询所有index

GET
http://10.1.1.xx:9200/_cat/indices?v

返回:
health status index                                  uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana                                SFIaLg2TRV2ZWXcq148rvA   1   1          2            0     10.3kb         10.3kb
yellow open   tracelog_all_2017-10-10                3v14EsMfSi2t1rmEy0sG-Q   3   1          5            0     38.2kb         38.2kb
yellow open   trace_service_reference_all_2017-10-10 w6bH3lbUTFypW7dwCwIN_Q   5   1          3            0     22.9kb         22.9kb
yellow open   applog_all_2017-10-10                  wHCyhfo3SyurY6GMWofc4Q   3   1          5            0       28kb           28kb
yellow open   trace_service_info                     XJ0iVnmeQ5C66nCVuBUsRQ   5   1          4            0     21.5kb         21.5kb

2.查询指定记录

POST /_search HTTP/1.1
Host: es.gy.mcc.com
Content-Type: application/json
Cache-Control: no-cache
Postman-Token: 9b13f5c0-1985-68cb-7399-1722b5fcfee9

{
    "query": {
        "bool": {
            "must_not": [
                {
                    "wildcard": { "tags": "_jsonparsefailure" } },
                {
                    "term": { "type": "kafka" } }
            ],
            "must": [
                {
                    "term": { "message": "www" } }
            ]
        }
    }
}

term

字段完全匹配
可以用wildcard实现部分匹配 但不属于模糊匹配

match

模糊匹配,输入message: i am child 会得到 i am child的所有结果(前提是message做了分析)

原始数据如下:

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 0.36464313,
    "hits": [
      {
        "_index": "tracelog_all_2017-10-11",
        "_type": "all",
        "_id": "AV8LiPjE2ztl8R45O9Qc",
        "_score": 0.36464313,
        "_source": {
          "ip": "172.16.90.236",
          "serviceName": "cache-server",
          "entryServiceName": "client",
          "frontServiceName": "cache-server",
          "version": "1.1",
          "traceId": "56qq-client.172.16.90.236.1507726348.1.1",
          "spanId": "5.1.1",
          "operationName": "select * from user where id= 1",
          "error": "true",
          "logs": "[{1507726348439000, {event=cs}}, {1507726348439000, {event=cr}}, {1507726348455000, {event=error, message=error!, error.kind=Exception, stack=java.lang.RuntimeException: error!\r\n\tat (TestTraceRequest.java:257)\r\n\tat $3.run(TestTraceRequest.java:216)\r\n\tat java.lang.Thread.run(Thread.java:745)\r\n}}]",
          "duration": 5170,
          "elapsed": 1462,
          "self": 5170,
          "datetime": 1507726348439,
          "component": "jdbc",
          "db_instance": "user",
          "http_status_code": 0
        }
      },
      {
        "_index": "tracelog_all_2017-10-11",
        "_type": "all",
        "_id": "AV8LiPjE2ztl8R45O9Qf",
        "_score": 0.36464313,
        "_source": {
          "ip": "172.16.90.236",
          "serviceName": "cache-server",
          "entryServiceName": "client",
          "frontServiceName": "user-server",
          "version": "1.1",
          "traceId": "56qq-client.172.16.90.236.1507726348.1.1",
          "spanId": "4.1.1",
          "operationName": "/api/getUserCache",
          "error": "true",
          "logs": "[{1507726348439000, {event=sr}}, {1507726348510000, {event=ss}}, {1507726348510000, {event=error, message=error!, error.kind=Exception, stack=java.lang.RuntimeException: error!\r\n\tat$3.run(TestTraceRequest.java:218)\r\n\tat java.lang.Thread.run(Thread.java:745)\r\n}}]",
          "duration": 69624,
          "elapsed": 0,
          "self": 69624,
          "datetime": 1507726348439,
          "component": "spring",
          "http_status_code": 500,
          "span_kind": "server"
        }
      }
    ]
  }
}

查询语句如下: 

{
    "query": {
        "bool": {
            "must": [
                {
                    "term": {"serviceName":"cache-server"}
                },
                {
                    "term": {"error":"true"}
                },
                {    
                    "match": {"logs": "event=sr"} //所有匹配上event和sr都会有
                }
            ]
        }
    },
    "size": 100
}

结果: 2条都匹配

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 1.3388524,
    "hits": [
      {
        "_index": "tracelog_all_2017-10-11",
        "_type": "all",
        "_id": "AV8LiPjE2ztl8R45O9Qf",
        "_score": 1.3388524,
        "_source": {
          "ip": "172.16.90.236",
          "serviceName": "cache-server",
          "entryServiceName": "56qq-client",
          "frontServiceName": "user-server",
          "version": "1.1",
          "traceId": "56qq-client.172.16.90.236.1507726348.1.1",
          "spanId": "4.1.1",
          "operationName": "/api/getUserCache",
          "error": "true",
          "logs": "[{1507726348439000, {event=sr}}, {1507726348510000, {event=ss}}, {1507726348510000, {event=error, message=error!, error.kind=Exception, stack=java.lang.RuntimeException: error!\r\n\tat com.wlqq.mon.galileo.logger.TestTraceRequest$3.run(TestTraceRequest.java:218)\r\n\tat java.lang.Thread.run(Thread.java:745)\r\n}}]",
          "duration": 69624,
          "elapsed": 0,
          "self": 69624,
          "datetime": 1507726348439,
          "component": "spring",
          "http_status_code": 500,
          "span_kind": "server"
        }
      },
      {
        "_index": "tracelog_all_2017-10-11",
        "_type": "all",
        "_id": "AV8LiPjE2ztl8R45O9Qc",
        "_score": 0.625296,
        "_source": {
          "ip": "172.16.90.236",
          "serviceName": "cache-server",
          "entryServiceName": "56qq-client",
          "frontServiceName": "cache-server",
          "version": "1.1",
          "traceId": "56qq-client.172.16.90.236.1507726348.1.1",
          "spanId": "5.1.1",
          "operationName": "select * from user where id= 1",
          "error": "true",
          "logs": "[{1507726348439000, {event=cs}}, {1507726348439000, {event=cr}}, {1507726348455000, {event=error, message=error!, error.kind=Exception, stack=java.lang.RuntimeException: error!\r\n\tat com.wlqq.mon.galileo.logger.TestTraceRequest.mysql(TestTraceRequest.java:257)\r\n\tat com.wlqq.mon.galileo.logger.TestTraceRequest$3.run(TestTraceRequest.java:216)\r\n\tat java.lang.Thread.run(Thread.java:745)\r\n}}]",
          "duration": 5170,
          "elapsed": 1462,
          "self": 5170,
          "datetime": 1507726348439,
          "component": "jdbc",
          "db_instance": "user",
          "http_status_code": 0
        }
      }
    ]
  }
}

现在的场景是logs需要匹配多个event=sr,message=error
如果用match肯定不对。所以需要用到match_phrase。这个会分析位置即event=sr需要连在一起的 message=error连在一起的，这样就OK了

match_phrase

{
    "query": {
        "bool": {
            "must": [
                {
                    "term": {"serviceName":"cache-server"}
                },
                {
                    "term": {"error":"true"}
                },
                {    
                    "match_phrase": {"logs": "event=sr"}
                },
                {    
                    "match_phrase": {"logs": "event=ss"}
                }
            ]
        }
    },
    "size": 100
}

结果: 只有event=sr且event=ss的才匹配

{
  "took": 315,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1.2344636,
    "hits": [
      {
        "_index": "tracelog_all_2017-10-11",
        "_type": "all",
        "_id": "AV8LiPjE2ztl8R45O9Qf",
        "_score": 1.2344636,
        "_source": {
          "ip": "172.16.90.236",
          "serviceName": "cache-server",
          "entryServiceName": "56qq-client",
          "frontServiceName": "user-server",
          "version": "1.1",
          "traceId": "56qq-client.172.16.90.236.1507726348.1.1",
          "spanId": "4.1.1",
          "operationName": "/api/getUserCache",
          "error": "true",
          "logs": "[{1507726348439000, {event=sr}}, {1507726348510000, {event=ss}}, {1507726348510000, {event=error, message=error!, error.kind=Exception, stack=java.lang.RuntimeException: error!\r\n\tat com.wlqq.mon.galileo.logger.TestTraceRequest$3.run(TestTraceRequest.java:218)\r\n\tat java.lang.Thread.run(Thread.java:745)\r\n}}]",
          "duration": 69624,
          "elapsed": 0,
          "self": 69624,
          "datetime": 1507726348439,
          "component": "spring",
          "http_status_code": 500,
          "span_kind": "server"
        }
      }
    ]
  }
}

附

freemark查询es的模板

1.term和match一起使用
2.wildcard对应的没有分词的字段的部分匹配 (用match_phrase)
3.match和match_phrase对应的是有分词的字段的模糊匹配
模糊匹配和部分匹配是有区别的！主要在于模糊匹配两个分词可以不是连在一起的
4.用filter而不是query(无需打分,优化查询)

{
    "query": {
        "bool": {
            "must": {
                "match_all": {}
            },
            "filter": {
                "bool": {
                    "must": [
                        {
                            "term": {"serviceName":"${serviceName}"}
                        },
                        <#if traceId??>
                        {
                            "term": {"traceId":"${traceId}"}
                        },
                        </#if>
                        <#if operationName??>
                        {
                            "match_phrase": {"operationName":"${operationName}"}
                        },
                        </#if>
                        <#if error??>
                        {
                            "term": {"error":"${error}"}
                        },
                        </#if>
                        <#if logsFilterList??>
                            <#list logsFilterList as logsFilter>
                            {
                                "match_phrase": {"logs": "${logsFilter}"}
                            },
                            </#list>
                        </#if>
                        <#if duration??>
                        {
                            "range": {
                                "duration": {
                                    "gte": ${duration?c}
                                }
                            }
                        },
                        </#if>
                        {
                            "range": {
                                "datetime": {
                                    "gte": ${startTimestamp?c},
                                    "lte": ${endTimestamp?c}
                                }
                            }
                        }
                    ]
                }
            }
        }
    },
    "sort": {
        "${sortKey}": {
            "order": "${sortOrder}"
        }
    },
    "size": ${size}
}

FreemarkUtil.java

package com.wlqq.mon.galileo.api.util;

import freemarker.template.Configuration;
import freemarker.template.Template;
import freemarker.template.TemplateException;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.io.File;
import java.io.IOException;
import java.io.StringWriter;

/**
 * 模板生成json
 * @author Mingchenchen
 *
 */
public class FreemarkUtil {
    private static Logger logger = LoggerFactory.getLogger(FreemarkUtil.class);
    private static String traceTemplateFileName = "ESTraceQueryTemplate.ftl";
    private static Template traceQueryTemplate = null;

    /**
     * 初始化配置 注意此处设置的是根路径,即模板文件需要放在根路径
     */
    static{
        traceTemplateInit();
    }

    private static void traceTemplateInit() {
        Configuration cfg = new Configuration();
        File templateFilePath = null;
        try {
            String traceBasePath = Thread.currentThread().getContextClassLoader().getResource("trace").getPath();
            templateFilePath = new File(traceBasePath);
            cfg.setDirectoryForTemplateLoading(templateFilePath);
            traceQueryTemplate = cfg.getTemplate(traceTemplateFileName);
        } catch (IOException e) {
            logger.error("freemark init error!", e);
        }
    }

    public static String getTraceQueryBody(TraceQueryFilter filter){
        StringWriter writer = new StringWriter();
        try {
            traceQueryTemplate.process(filter, writer); //把map处理后的结果存入Writer对象
            return writer.toString();
        } catch (IOException | TemplateException e) {
            logger.error("freemark process error!", e);
            throw new IllegalArgumentException("param missing, " + e.getMessage());
        }finally {
            try {
                writer.close();
            } catch (IOException e) {
            }
        }
    }
}

优化点

match_phrase和wildcard区别
同事说wildcard正则匹配性能差一些?

如果不需要打分 则用filter而不是query
http://blog.csdn.net/oryjk/article/details/50750850

参考:
http://www.cnblogs.com/huanxiyun/articles/5890897.html
http://www.cnblogs.com/yjf512/p/4897294.html

最新更新

1.一般情况下不用打分的则用filter而不是query
filtered已经弃用了,直接用filter即可

Filtered query:

The filtered query is replaced by the bool query. Instead of the following:

## INCORRECT - DEPRECATED SYNTAX, DO NOT USE
GET _search
{
  "query": {
    "filtered": {
      "query": {
        "match": {
          "text": "quick brown fox"
        }
      },
      "filter": {
        "term": {
          "status": "published"
        }
      }
    }
  }
}

move the query and filter to the must and filter parameters in the bool query:

GET _search
{
  "query": {
    "bool": {
      "must": {
        "match": {
          "text": "quick brown fox"
        }
      },
      "filter": {
        "term": {
          "status": "published"
        }
      }
    }
  }
}

现在最新5.6的查询bool query用法如下：

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-bool-query.html

POST _search
{
  "query": {
    "bool" : {
      "must" : {
        "term" : { "user" : "kimchy" }
      },
      "filter": {
        "term" : { "tag" : "tech" }
      },
      "must_not" : {
        "range" : {
          "age" : { "gte" : 10, "lte" : 20 }
        }
      },
      "should" : [
        { "term" : { "tag" : "wow" } },
        { "term" : { "tag" : "elasticsearch" } }
      ],
      "minimum_should_match" : 1,
      "boost" : 1.0
    }
  }
}
God_Ming
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK高级搜索_ElasticStack技术栈视频教程
04-18
# 1． 课程简介 ## 1.1 课程内容 ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 本课程从分别对三个组件经行详细介绍，尤其是Elasticsearch，因为它是elk的核心。本课程从es底层对文档、索引、搜索、聚合、集群经行介绍，从搜索和聚合分析实例来展现es的魅力。Logstash从内部如何采集数据到指定地方来展现它数据采集的功能。Kibana则从数据绘图展现数据可视化的功能。 1.2 课程优势 - 基于最新的elk7.3版本讲解。最新api。包含sql功能。 - 理论和实际代码相辅相成。理论结合画图讲解。代码与spring boot结合。 - 包含实际运维部署理论与实践。 - Elk整体流程项目，包含数据采集。 参照目录，按照介绍，es入门，文档、映射、索引、分词器、搜索、聚合。logstash、kibana。集群部署。实战
ElasticSearch中基础API操作
justleavel的博客
11-27 3439
2:建立的客户端后，我们需要先进行索引的创建，查询，删除操作： 2.1：创建索引： 响应： 2.3：删除索引： 响应： 3：索引创建好后我们需要将索引里面插入文档数据，包过数据的查询删除等等操作 3.1：将数据插入索引： 响应： 3.1.1：首先建立一个实体类存放我们要插入的数据类：User #3.1.2：然后向对应的索引中插入数据：这里的步骤分三步： （1）：new出索引，并指向我们要插入数据的索引： 3.2：修改索引中数据： 响应： 修改索引中的数据：跟上面类似，
Elasticsearch Search API 概述与URI Search
m0_54816834的博客
03-14 661
光给面试题不给答案不是我的风格。这里面的面试题也只是凤毛麟角，还有答案的话会极大的增加文章的篇幅，减少文章的可读性。
简单的elasticStack搜索引擎
qq_38384460的博客
04-16 182
1、elasticStack简介 1、es es是基于java，开源的分布式搜索引擎，特点是分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格，多数据源，自动搜索负载 2、logstash（更多用beats） logstash是用于收集，分析，储存日志的工具 3、kibana 基于nodejs，为es和logstash提供界面，汇总分析搜索数据 ...
微服务03 分布式搜索引擎 elasticsearch ELK kibana RestAPI 索引库 DSL查询 RestClient 黑马旅游
我亦无他，唯手熟尔
02-20 913
什么是elasticsearch？一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能什么是elastic stack（ELK）？是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch什么是Lucene？是Apache的开源搜索引擎类库，提供了搜索引擎的核心API分词器的作用是什么？创建倒排索引时对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度。
Elasticsearch互联网主流分布式全文检索框架实战-ElasticStack（上）v7.14.0
itxiaoshen博客
09-04 558
本篇先了解Elasticsearch底层原理，通过docker方式搭建3台ES集群,安装Head插件和Kibana可视化工具，加入ik分词器支持中文分词，熟悉Elasticsearch基本概念和基础操作，最后利用spring-boot整合elasticsearch启动器写一个增删改查功能示例
elasticsearch查询操作（API方式）
qq_42108331的博客
07-26 1867
elasticsearch查询操作（API方式）
Elasticsearch查询文档--常见API篇（附详细代码和案例图文）
小威的博客
04-10 3万+
本篇文章将介绍Elasticsearch在Java中的几种API的使用，这块内容不作为面试中的重点，主打的就是一个陪伴。
【ElasticSearch】ElasticSearch常用查询api集合（一）
我还可以
08-04 1120
本文为es常见DSL搜索入门帖子开始之前先贴个对应关系，方便各位理解在es7+的版本中，是没有类型的概念的，所以，添加数据直接在索引中添加；⭐请求es地址均为localhost:9200/{索引}/_search，为了编写方便些，在下面的例子中会直接写请求体；.........
ElasticSearch 基础（四）之 常用 API 测试
weixin_43844718的博客
02-28 2322
本文示例以 ElasticSearch 8.6.2 版本演示，更详细的 API 参数及用法请参考官方文档。elastic 官网 访问缓慢已常态，还经常无法访问，为了方便看文档，我使用 DownGit 从 GitHub 下载了离线文档，但是下载的离线文档没有左侧API导航栏这个比较坑。还有一点是关于翻译的问题，ES 的中文版版本太低，我们常用的还是英文版，谷歌的翻译功能又不可用，想要翻译成中文可以使用 Edge 浏览器。DownGitGitHub ES 8.6 文档地址（也可选择其他版本）
Elasticsearch基础学习-常用查询和基本的JavaAPI操作ES
后端开发
05-17 2613
关于ES数据库的和核心倒排索引的介绍一、Elasticsearch概述简介关于全文检索引擎关系型数据库的全文检索功能缺点全文检索的应用场景Elasticsearch 应用案例二、Elasticsearch学习准备安装下载关于es检索的核心-倒排索引正向索引（forward index）倒排索引（inverted index）三、使用kibana执行ES的操作索引创建全部索引查询单个索引查询删除索引创建文档Dynamic mapping 动态映射的说明指定id创建文档主键查询GET方式全查询POST方式全查询
Elasticsearch介绍12.zip
最新发布
04-08
elasticsearch。Elasticsearch是一个基于Apache Lucene构建的...Elasticsearch以其简单的REST API、分布式特性、速度和可扩展性而闻名，是Elastic Stack的核心组件，被广泛应用于全文搜索、日志分析、数据挖掘等领域。
apigateway-openlogging-elk:基于 Elasticsearch (ELK-Stack) 的 API-Gateway 实时监控
08-03
观看此视频以查看经典流量监控器和基于 ElasticSearch 的流量监控器之间的并排比较： 能见度 该解决方案允许 API Manager 用户使用标准流量监控器，只查看自己 API 的流量。 这允许已注册 API 的 API 服务提供商...
elasticcloud-js:一个Node.js客户端，可与Elasticsearch Service RESTful API一起使用来创建和管理您的Elastic Stack部署
03-27
适用于Node.js的Elastic Cloud RESTful API 一个Node.js客户端与Elastic Cloud RESTful API一起使用来创建和管理您的Elastic Stack部署
Java-全文搜索引擎Elasticsearch-掌握所有操作的源代码（Java api和spring data两种方式）
09-22
本资源中的项目，使用springboot、logback、junit、mybatis-plus、spring data集成Elasticsearch搜索引擎框架，结合实际案例（赛事系统）完成Elasticsearch中索引、文档所有操作（创建、查询、删除、批量操作等）。...
grafana图表配置详解
热门推荐
凤歌
07-25 5万+
grafana图表配置
Grafana之ldap认证设置
凤歌
05-24 2万+
使用ldap账号登录grafana
[ElasticStack系列]docker部署logstash
凤歌
09-06 1万+
logstash安装部署、配置、测试
使用Redis sorted set实现集合设置member过期
凤歌
04-11 1万+
sorted set实现 list设置每一个member的过期
elasticsearch组件
09-02
Elasticsearch是一个开源的分布式搜索和分析引擎，它是Elastic Stack（以前称为ELK Stack）中的核心组件之一。它被设计用于快速、可扩展地搜索和分析大量数据。 Elasticsearch可以用于各种用途，包括应用程序搜索、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值