elasticsearch 查询聚合操作

已于 2024-04-19 11:52:51 修改
阅读量2.1k 收藏 24
点赞数 18
分类专栏： elasticsearch 文章标签： java elasticsearch
于 2024-04-16 10:51:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50761817/article/details/137816648
版权

一、es相关查询

1、多维度查询 关键词：bool must match

{
  "query": {
    "bool": {
		"must": [
		  	{
		    	"match":{"server_name":"www.test.com"}
      		},
		    {
				"match":{"status":"404"}
		    }
		]
    }
  }
}

2、模糊查询 关键词：wildcard

匹配出状态码status 以 5 开头的日志

{
  "query": {
    "wildcard": {"status": "5*"}
  }
}

3、指定某个值 同时匹配多个字段 关键词：multi_match

query 要查询的值
fields 要匹配的字段【数组】
匹配出 字段code和status 为400的所有日志

{
  "query": {
    "multi_match": {
        "query":    "400",
        "fields":   [ "code", "status" ]
    }
  }
}

4、一个字段查询多个值

关键词：terms
{ “字段”：[ 要匹配的多个值 ] }

{
  "query": {
    "terms": {
        "status": ["400","402","406"]
    }
  }
}

5、多种组合查询

关键词：bool must should range size sort

{
  "query": {
    "bool": {
		"must": [
		    {
		        "bool":{
		        	"should":[
			          	{"wildcard": {"status": "5*"}},
                    	{"terms": {"status": ["400","402","406"]}}
		         	]
		        }
		    },
            { 
              "range": {
              	"time": {"gte": "2022-05-22T12:34:00.000+0800",
                "lte": "2022-05-22T12:34:01.000+0800"}
              }
            }
        ]
	}
  },
  "size":100,
  "sort": [
    {
      "time": {
        "order": "desc"
      }
    }
  ]
}

6、es默认时间格式查询/ java时间查询

{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "createTime": {
              "gte": "2022-05-22T12:34:00.000+0800",
              "lte": "2022-05-22T12:34:01.000+0800"
            }
          }
        }
      ]
    }
  },
  "size":20
}

java 查询时：
实体字段添加： @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss",timezone = "GMT+8")
代码中转换格式：SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSSZ");
新建es格式化date："format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"

7、单字段排序

{
  "sort": {
    "createTime": {
      "order": "asc"
    }
  }
}

8、多字段排序

{
  "sort":[{
    "createTime": {
      "order": "asc"
    },
    "updateTime": {
      "order": "desc"
    }]
  }
}

9、条件查询加聚合

{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "createTime": {
              "from": "2022-05-16T00:00:00.000+0800"
            }
          }
        },
        {
          "match": {
            "tonalState": 2
          }
        }
      ]
    }
  },
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "mediaLink"
      }
    }
  },
  "size": 0
}

10、高量查询

GET /megacorp/employee/_search
{
    "query" : {
        "match_phrase" : {
            "about" : "rock climbing"
        }
    },
    "highlight": {
        "fields" : {
            "about" : {}
        }
    }
}

11、自定义高亮

{
  "query": {
    "term": {
      "description": {
        "value": "iphone"
      }
    }
  },
  "highlight": {
    "post_tags": ["</span>"], 
    "pre_tags": ["<span style='color:red'>"],
    "fields": {
      "*":{}
    }
  }
}

12、聚合查询

    publicsentiment/_search  GET
    {
      "aggs": {
        "mediaLink": {
          "terms": {
            "field": "mediaLink"
          },
          "aggs": {
            "dataExist": {
              "terms": {
                "field": "dataExist"
              }
            }
          }
        }
      },
      "size": 0
    }

13、查询指定字段

includes：来指定想要显示的字段
excludes：来指定不想要显示的字段

GET /heima/_search

{
 "_source": {
   "includes":["title","price"]
 },
 "query": {
   "term": {
     "price": 2699
   }
 }
}

14、模糊查询(fuzzy)

fuzzy 查询是 term 查询的模糊等价。它允许用户搜索词条与实际词条的拼写出现偏差，但是偏差的编辑距离不得超过2：
GET /heima/_search
{
  "query": {
    "fuzzy": {
        "title": {
            "value":"appla",
            "fuzziness":1
        }
    }
  }
}

15、elastic的聚合

Elasticsearch中提供的划分桶的方式有很多：

1、Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组
2、Histogram Aggregation：根据数值阶梯分组，与日期类似
3、Terms Aggregation：根据词条内容分组，词条内容完全匹配的为一组
4、Range Aggregation：数值和日期的范围分组，指定开始和结束，然后按段分组
综上所述，我们发现bucket aggregations 只负责对数据进行分组，并不进行计算，因此往往bucket中往往会嵌套另一种聚合：metrics aggregations即度量

比较常用的一些度量聚合方式：

1、Avg Aggregation：求平均值
2、Max Aggregation：求最大值
3、Min Aggregation：求最小值
4、Percentiles Aggregation：求百分比
5、Stats Aggregation：同时返回avg、max、min、sum、count等
6、Sum Aggregation：求和
7、Top hits Aggregation：求前几
8、Value Count Aggregation：求总数

16、指定间隔分组

interval:间隔，
min_doc_count：过滤为0的分组

{
  "size":0,
  "aggs":{
    "price":{
      "histogram": {
        "field": "price",
        "interval": 5000,
        "min_doc_count": 1
      }
    }
  }
}

17、elasticsearch 深分页

产生原因：from、size 两字段过大，es默认是10000
解决方式：
(1)深度分页之scroll,滚动查询、每次请求两条。可以定制 scroll = 5m意味着该窗口过期时间为5分钟。
 GET /student/_search?scroll=5m
 {
   "query": {
     "match_all": {}
   },
   "size": 2
 }

后边查询的时候需要带上 _scroll_id 参数

 GET /_search/scroll
 {
   "scroll":"5m",
   "scroll_id":"DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAC0YFmllU"
 }
(2)search_after 使用索引全局唯一标识字段 、官方推荐使用 _uid 作为全局唯一值，但是只要能表示其唯一性就可以。
  GET /student/_search
  {
    "query":{
      "match_all": {}
    },
    "size":2,
    "sort":[
     {
        "uid": "desc"
    }  
   ]
 }

下一次分页，需要将上述分页结果集的最后一条数据的值带上。

  GET /student/student/_search
  {
    "query":{
      "match_all": {}
    },
    "size":2,
    "search_after":[1005],
    "sort":[
      {
       "uid": "desc"
     }  
   ]
 }

18、解决keyword长度报错问题**

test_demo/_mapping

{
  "properties": {
    "title": {
      "type": "keyword",
      "ignore_above": 51
    }
  }
}
深分页对比
分页方式性能优点缺点场景
from+size低灵活性好，实现简单深度分页问题数据量比较小，能容忍深度分页问题
scroll中解决了深度分页问题无法反应数据的实时性（快照版本），维护成本高，需要维护一个海量数据的导出需要查询海量结果集的数据
search_after高性能最好、不存在深度分页问题、能够反映数据的实时变更实现复杂，需要有一个全局唯一的字段、连续分页的实现比较复杂，因为每一次查询都需要上次查询的结果海量数据的分页

19：时间段包含查询（智能报告热榜数据查询）

{
  "query": {
    "bool": {
      "should": [
        {
          "bool": {
            "should": [
              {
                "range": {
                  "createTime": {
                    "gte": "2024-03-19T11:42:00.000+0800",
                    "lte": "2024-03-19T11:55:00.000+0800"
                  }
                }
              },
              {
                "range": {
                  "updateTime": {
                    "gte": "2024-03-19T11:42:00.000+0800",
                    "lte": "2024-03-19T11:55:00.000+0800"
                  }
                }
              }
            ],
            "minimum_should_match": 1
          }
        },
        {
          "bool": {
            "must": [
              {
                "range": {
                  "createTime": {
                    "lt": "2024-03-19T11:42:00.000+0800"
                  }
                }
              },
              {
                "range": {
                  "updateTime": {
                    "gt": "2024-03-19T11:55:00.000+0800"
                  }
                }
              }
            ]
          }
        }
      ],
      "minimum_should_match": 1
    }
  }
}

二、设置非keyword类型字段聚合（只会对新数据生效）

POST /index_name/_mapping
{
  "properties": {
      "testText": { 
        "type": "text",
        "fielddata": true,
         "fields": {
                "subField": {
                  "type": "keyword",
                  "ignore_above": 256
                }
            }
        }
    }
}

三、ElasticSearch Java API之高级查询（分页查询，高亮查询，正则表达式查询，聚合查询等）

参考：
ElasticSearch Java API之高级查询（分页查询，高亮查询，正则表达式查询，聚合查询等）_java es高级查询分组分页聚合查询-CSDN博客
Java 操作RestHighLevelClient查询详解-CSDN博客

四、ES优化

1、写入速度优化

1、加大 Translog Flush ，目的是降低 Iops 、 Writeblock 。
2、增加 Index Refresh 间隔，目的是减少 Segment Merge 的次数。
3、调整 Bulk 线程池和队列。
4、优化节点间的任务分布。
5、优化 Lucene 层的索引建立，目的是降低 CPU 及 IO。
6、批量写入
7、服务器磁盘读写速度提高
8、调整refresh_interval（刷新时间），默认为1s，若调大后，会消耗更大的heap内存
9、副本越多，写效率越低（index.number_of_replicas: 0）

2、大数据量的优化

（1）动态索引层面

基于模板+时间+rollover api 滚动创建索引，减少单个索引的数据量过大

（2）存储层面

冷热数据分离存储，热数据（比如最近 3 天或者一周的数据），其余为冷数据。
对于冷数据不会再写入新数据，可以考虑定期 force_merge 加 shrink 压缩操作，节省存储空间和检索效率。

（3）部署层面

结合 ES 自身的支持动态扩展的特点，动态新增机器的方式可以缓解集群压力

时间聚合

DateHistogramAggregationBuilder group = AggregationBuilders.dateHistogram("releaseTime")//自定义名称
                    .dateHistogramInterval(DateHistogramInterval.DAY)//设置间隔
                    .minDocCount(0)//返回空桶
                    .timeZone(ZoneId.of("+08:00"))
                    .field("releaseTime")//指定时间字段
                    .format("dd日");//设定返回格式
小橘快跑
关注
专栏目录
elasticsearch 聚合查询
杨杨杨~~的博客
04-28 746
1. 桶聚合（Bucket Aggregations）：将文档分割成不同的桶（buckets），每个桶代表一个条件或者标准。常见的桶聚合包括根据词条、范围、日期等条件进行分桶。 2. 度量聚合（Metric Aggregations）：对文档中的数值字段进行计算，生成统计指标，如平均值、总和、最大值、最小值等。 3. 嵌套聚合（Nested Aggregations）：在其他聚合的结果上进行嵌套，以实现更复杂的分析。 4. 指标聚合（Matrix Aggregations）：对多个字段执行度量聚合，
elasticsearch聚合查询
warrah 南极狼
02-08 443
es 聚合复杂应用的实际运营，项目中实际用到的
Elasticsearch 聚合检索 (分组统计)
cxs812760493的博客
09-20 2941
"size": 0,"aggs": {"terms": {"order": { "avg_price": "desc" } // 根据下述统计的结果排序},"aggs": {与#2.1节内容相似, 区别在于按照价格排序显示了.
ES入门：查询和聚合
最新发布
不惑
11-01 1022
安装完ElasticSearch 和 Kibana后我们开始学习。
Elasticsearch 的聚合查询
FireFox1997
08-15 909
Elasticsearch 的聚合查询功能为用户提供了强大的数据分析能力。从简单的统计计算到复杂的分组和关系分析，各类聚合查询满足了不同的业务需求。Metrics Aggregations 适用于基本的统计报告，Bucket Aggregations 则用于数据的分组和分类分析，Pipeline Aggregations 允许在现有数据上进行进一步的计算，而 Matrix Aggregations 提供了多字段关系的深入分析能力。
es数据聚合
CV工程师呀
02-09 2988
1.kibana实现 1.1.聚合的种类 聚合常见的有三类： 桶（Bucket）聚合：用来对文档做分组 TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组 Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等 Avg：求平均值 Max：求最大值 Min：求最小值 Stats：同时求max、min、avg、sum等 管道（pipeline）聚合：其它聚合的结
ElasticSearch--聚合查询
qq_50596778的博客
06-23 1211
ElasticSearch--过滤查询
elasticsearch的聚合查询
奇想派
07-05 1358
elasticsearch里包含很多语法，其中聚合查询尤其重要，本文罗列了几乎全部的聚合操作和案例。
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
java使用elasticsearch分组进行聚合查询过程解析
08-25
Elasticsearch 的聚合查询可以对数据进行分组、聚合、排序等操作。聚合查询可以根据不同的字段进行分组，例如根据任务 ID、用户 ID 等字段对数据进行分组。同时，Elasticsearch 还提供了多种聚合函数，例如 SUM、AVG...
java对es做聚合查询_java操作elasticsearch实现聚合查询
weixin_34244326的博客
02-27 5504
1、max 最大值//max 求最大值@Testpublic void test30() throws UnknownHostException{//1、指定es集群 cluster.name 是固定的key值，my-application是ES集群的名称Settings settings = Settings.builder().put("cluster.name", "my-applicat...
Python Elasticsearch DSL 查询、过滤、聚合操作实例
2401_84010762的博客
04-20 715
Python Elasticsearch DSL 使用简介连接 Es：import elasticsearches = elasticsearch.Elasticsearch([{‘host’: ‘127.0.0.1’, ‘port’: 9200}])先看一下搜索， 是指搜索内容，空格对 查询结果没有影响， 指定个数， 指定起始位置， 可以指定需要显示的数据，如本例中显示在最后的结果中的只有 和 。res_3 = es.search(index=“bank”, q=“Holmes”, size=1, f
ElasticSearch的java分组聚合操作教程
qq_31839835的博客
10-28 637
"format": "yyyy年MM月",spring-boot，用于java操作ES。maven项目直接导入依赖。"value": "苏州",
Elasticsearch学习-- 聚合查询
CelineT的博客
09-03 3059
missing：对空值赋默认值（设置成500，上图中表示，将price缺失的数据的price设置成500）min_doc_count：设置成1，表示输出结果doc_value大于等于1的数据（过滤0）因为聚合查询使用的是doc_values的正排索引，tags.keyword有正排索引。2）对分桶后的tags取平均price（在哪个的基础上进行操作，就放在同一级）1）查询price>4000的平均price和所有商品的平均price。doc_vaules是基于磁盘的，filed_data是基于内存的。
elasticsearch高级功能之聚合查询
nandao158的博客
01-03 5632
elasticsearch高级功能之聚合查询
elasticsearch-聚合查询
Felix的小黑板
09-28 746
目录依赖引入目录结构代码详情DemoApplication.javaElasticsearchRestClient.javaBucketAggregationTest.javaMetricAggregationTest.java 本篇目将写一个案例来介绍, java 集成 elasticsearch 并且实现常见的聚合查询 依赖引入 我们使用 springboot快速创建一个项目, pom.xml如下 <?xml version="1.0" encoding="UTF-8"?> <pr
ElasticSearch 聚合查询
wanson2015的博客
05-15 553
桶（bucket）和指标（metric） （1）桶　　 　　a、简单来说桶就是满足特定条件的文档的集合。 　　b、当聚合开始被执行，每个文档里面的值通过计算来决定符合哪个桶的条件，如果匹配到，文档将放入相应的桶并接着开始聚合操作。 　　c、桶也可以被嵌套在其他桶里面。 （2）指标 　　a、桶能让我们划分文档到有意义的集合，但是最终我们需要的是对这些桶内的文档进行一些指标的计算。分桶是一...
java操作ElasticSearch（包含聚合查询）
weixin_48811255的博客
08-01 820
java操作ElasticSearch（包含聚合查询）
Elasticsearch-桶聚合查询详解
苍煜
04-03 4400
在之前我们详细面熟了es的查询用法，但是es还拥有强大的聚合查询功能，可以得到类似分组，直方图，折线图等数据组合。类似SQL的SUM、AVG、COUNT、GROUP BY Elasticsearch-02-es的restapi使用ES聚合查询类似SQL的GROUP by，一般统计分析主要分为两个步骤：es中满足特定条件的文档的集合，叫做桶。 桶的就是一组数据的集合，对数据分组后，得到一组组的数据，就是一个个的桶。ES中桶聚合，指的就是先对数据进行分组，ES支持多种分组条件，例如：支持类似SQL的group
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值