elasticsearch 查询聚合操作

已于 2024-04-19 11:52:51 修改
阅读量1.5k 收藏 22
点赞数 17
分类专栏： elasticsearch 文章标签： java elasticsearch
于 2024-04-16 10:51:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50761817/article/details/137816648
版权

一、es相关查询

1、多维度查询 关键词：bool must match

{
  "query": {
    "bool": {
		"must": [
		  	{
		    	"match":{"server_name":"www.test.com"}
      		},
		    {
				"match":{"status":"404"}
		    }
		]
    }
  }
}

2、模糊查询 关键词：wildcard

匹配出状态码status 以 5 开头的日志

{
  "query": {
    "wildcard": {"status": "5*"}
  }
}

3、指定某个值 同时匹配多个字段 关键词：multi_match

query 要查询的值
fields 要匹配的字段【数组】
匹配出 字段code和status 为400的所有日志

{
  "query": {
    "multi_match": {
        "query":    "400",
        "fields":   [ "code", "status" ]
    }
  }
}

4、一个字段查询多个值

关键词：terms
{ “字段”：[ 要匹配的多个值 ] }

{
  "query": {
    "terms": {
        "status": ["400","402","406"]
    }
  }
}

5、多种组合查询

关键词：bool must should range size sort

{
  "query": {
    "bool": {
		"must": [
		    {
		        "bool":{
		        	"should":[
			          	{"wildcard": {"status": "5*"}},
                    	{"terms": {"status": ["400","402","406"]}}
		         	]
		        }
		    },
            { 
              "range": {
              	"time": {"gte": "2022-05-22T12:34:00.000+0800",
                "lte": "2022-05-22T12:34:01.000+0800"}
              }
            }
        ]
	}
  },
  "size":100,
  "sort": [
    {
      "time": {
        "order": "desc"
      }
    }
  ]
}

6、es默认时间格式查询/ java时间查询

{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "createTime": {
              "gte": "2022-05-22T12:34:00.000+0800",
              "lte": "2022-05-22T12:34:01.000+0800"
            }
          }
        }
      ]
    }
  },
  "size":20
}

java 查询时：
实体字段添加： @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss",timezone = "GMT+8")
代码中转换格式：SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSSZ");
新建es格式化date："format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"

7、单字段排序

{
  "sort": {
    "createTime": {
      "order": "asc"
    }
  }
}

8、多字段排序

{
  "sort":[{
    "createTime": {
      "order": "asc"
    },
    "updateTime": {
      "order": "desc"
    }]
  }
}

9、条件查询加聚合

{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "createTime": {
              "from": "2022-05-16T00:00:00.000+0800"
            }
          }
        },
        {
          "match": {
            "tonalState": 2
          }
        }
      ]
    }
  },
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "mediaLink"
      }
    }
  },
  "size": 0
}

10、高量查询

GET /megacorp/employee/_search
{
    "query" : {
        "match_phrase" : {
            "about" : "rock climbing"
        }
    },
    "highlight": {
        "fields" : {
            "about" : {}
        }
    }
}

11、自定义高亮

{
  "query": {
    "term": {
      "description": {
        "value": "iphone"
      }
    }
  },
  "highlight": {
    "post_tags": ["</span>"], 
    "pre_tags": ["<span style='color:red'>"],
    "fields": {
      "*":{}
    }
  }
}

12、聚合查询

    publicsentiment/_search  GET
    {
      "aggs": {
        "mediaLink": {
          "terms": {
            "field": "mediaLink"
          },
          "aggs": {
            "dataExist": {
              "terms": {
                "field": "dataExist"
              }
            }
          }
        }
      },
      "size": 0
    }

13、查询指定字段

includes：来指定想要显示的字段
excludes：来指定不想要显示的字段

GET /heima/_search

{
 "_source": {
   "includes":["title","price"]
 },
 "query": {
   "term": {
     "price": 2699
   }
 }
}

14、模糊查询(fuzzy)

fuzzy 查询是 term 查询的模糊等价。它允许用户搜索词条与实际词条的拼写出现偏差，但是偏差的编辑距离不得超过2：
GET /heima/_search
{
  "query": {
    "fuzzy": {
        "title": {
            "value":"appla",
            "fuzziness":1
        }
    }
  }
}

15、elastic的聚合

Elasticsearch中提供的划分桶的方式有很多：

1、Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组
2、Histogram Aggregation：根据数值阶梯分组，与日期类似
3、Terms Aggregation：根据词条内容分组，词条内容完全匹配的为一组
4、Range Aggregation：数值和日期的范围分组，指定开始和结束，然后按段分组
综上所述，我们发现bucket aggregations 只负责对数据进行分组，并不进行计算，因此往往bucket中往往会嵌套另一种聚合：metrics aggregations即度量

比较常用的一些度量聚合方式：

1、Avg Aggregation：求平均值
2、Max Aggregation：求最大值
3、Min Aggregation：求最小值
4、Percentiles Aggregation：求百分比
5、Stats Aggregation：同时返回avg、max、min、sum、count等
6、Sum Aggregation：求和
7、Top hits Aggregation：求前几
8、Value Count Aggregation：求总数

16、指定间隔分组

interval:间隔，
min_doc_count：过滤为0的分组

{
  "size":0,
  "aggs":{
    "price":{
      "histogram": {
        "field": "price",
        "interval": 5000,
        "min_doc_count": 1
      }
    }
  }
}

17、elasticsearch 深分页

产生原因：from、size 两字段过大，es默认是10000
解决方式：
(1)深度分页之scroll,滚动查询、每次请求两条。可以定制 scroll = 5m意味着该窗口过期时间为5分钟。
 GET /student/_search?scroll=5m
 {
   "query": {
     "match_all": {}
   },
   "size": 2
 }

后边查询的时候需要带上 _scroll_id 参数

 GET /_search/scroll
 {
   "scroll":"5m",
   "scroll_id":"DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAC0YFmllU"
 }
(2)search_after 使用索引全局唯一标识字段 、官方推荐使用 _uid 作为全局唯一值，但是只要能表示其唯一性就可以。
  GET /student/_search
  {
    "query":{
      "match_all": {}
    },
    "size":2,
    "sort":[
     {
        "uid": "desc"
    }  
   ]
 }

下一次分页，需要将上述分页结果集的最后一条数据的值带上。

  GET /student/student/_search
  {
    "query":{
      "match_all": {}
    },
    "size":2,
    "search_after":[1005],
    "sort":[
      {
       "uid": "desc"
     }  
   ]
 }

18、解决keyword长度报错问题**

test_demo/_mapping

{
  "properties": {
    "title": {
      "type": "keyword",
      "ignore_above": 51
    }
  }
}
深分页对比
分页方式性能优点缺点场景
from+size低灵活性好，实现简单深度分页问题数据量比较小，能容忍深度分页问题
scroll中解决了深度分页问题无法反应数据的实时性（快照版本），维护成本高，需要维护一个海量数据的导出需要查询海量结果集的数据
search_after高性能最好、不存在深度分页问题、能够反映数据的实时变更实现复杂，需要有一个全局唯一的字段、连续分页的实现比较复杂，因为每一次查询都需要上次查询的结果海量数据的分页

19：时间段包含查询（智能报告热榜数据查询）

{
  "query": {
    "bool": {
      "should": [
        {
          "bool": {
            "should": [
              {
                "range": {
                  "createTime": {
                    "gte": "2024-03-19T11:42:00.000+0800",
                    "lte": "2024-03-19T11:55:00.000+0800"
                  }
                }
              },
              {
                "range": {
                  "updateTime": {
                    "gte": "2024-03-19T11:42:00.000+0800",
                    "lte": "2024-03-19T11:55:00.000+0800"
                  }
                }
              }
            ],
            "minimum_should_match": 1
          }
        },
        {
          "bool": {
            "must": [
              {
                "range": {
                  "createTime": {
                    "lt": "2024-03-19T11:42:00.000+0800"
                  }
                }
              },
              {
                "range": {
                  "updateTime": {
                    "gt": "2024-03-19T11:55:00.000+0800"
                  }
                }
              }
            ]
          }
        }
      ],
      "minimum_should_match": 1
    }
  }
}

二、设置非keyword类型字段聚合（只会对新数据生效）

POST /index_name/_mapping
{
  "properties": {
      "testText": { 
        "type": "text",
        "fielddata": true,
         "fields": {
                "subField": {
                  "type": "keyword",
                  "ignore_above": 256
                }
            }
        }
    }
}

三、ElasticSearch Java API之高级查询（分页查询，高亮查询，正则表达式查询，聚合查询等）

参考：
ElasticSearch Java API之高级查询（分页查询，高亮查询，正则表达式查询，聚合查询等）_java es高级查询分组分页聚合查询-CSDN博客
Java 操作RestHighLevelClient查询详解-CSDN博客

四、ES优化

1、写入速度优化

1、加大 Translog Flush ，目的是降低 Iops 、 Writeblock 。
2、增加 Index Refresh 间隔，目的是减少 Segment Merge 的次数。
3、调整 Bulk 线程池和队列。
4、优化节点间的任务分布。
5、优化 Lucene 层的索引建立，目的是降低 CPU 及 IO。
6、批量写入
7、服务器磁盘读写速度提高
8、调整refresh_interval（刷新时间），默认为1s，若调大后，会消耗更大的heap内存
9、副本越多，写效率越低（index.number_of_replicas: 0）

2、大数据量的优化

（1）动态索引层面

基于模板+时间+rollover api 滚动创建索引，减少单个索引的数据量过大

（2）存储层面

冷热数据分离存储，热数据（比如最近 3 天或者一周的数据），其余为冷数据。
对于冷数据不会再写入新数据，可以考虑定期 force_merge 加 shrink 压缩操作，节省存储空间和检索效率。

（3）部署层面

结合 ES 自身的支持动态扩展的特点，动态新增机器的方式可以缓解集群压力

时间聚合

DateHistogramAggregationBuilder group = AggregationBuilders.dateHistogram("releaseTime")//自定义名称
                    .dateHistogramInterval(DateHistogramInterval.DAY)//设置间隔
                    .minDocCount(0)//返回空桶
                    .timeZone(ZoneId.of("+08:00"))
                    .field("releaseTime")//指定时间字段
                    .format("dd日");//设定返回格式
小橘快跑
关注
  • 17
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch聚合查询
warrah 南极狼
02-08 370
es 聚合复杂应用的实际运营，项目中实际用到的
elasticsearch的聚合查询
wyqwilliam的博客
10-10 1494
第一个分析需求：计算每个tag下的商品数量   GET /ecommerce/product/_search {   "aggs": {     "group_by_tags": {       "terms": { "field": "tags" }     }   } }   将文本field的fielddata属性设置为true   PUT /ecommerce/_mapping/prod...
Elasticsearch8.x聚合查询全面指南：从理论到实战
最新发布
qq_41934990的博客
06-27 1069
类似于SQL中的GROUP BY操作，根据指定的条件对数据进行分组统计。可以进行嵌套分桶，即在一个分桶的基础上再进行细分。示例：按照手机的品牌进行分桶统计数量，再在小米手机的分桶基础上按照档次进行二次分桶。语法格式 指标聚合（Metrics Aggregations） 主要用于计算数值字段的统计信息，如平均值、最大值、最小值、求和、去重计数等。示例：计算某个班级、某个学科的最高分、最低分等。语法格式 聚合查询的特点 嵌套性：聚合查询支持嵌套，即一个聚合内部可以包含别的子聚合，实现复杂的数据挖掘和统计
基础6 ElasticSearch 嵌套聚合，下钻分析，聚合分析
架构师的成长之路的博客
04-12 2095
基础6 ElasticSearch 嵌套聚合，下钻分析，聚合分析更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记概述例子一第一个分析需求：计算每个tag下的商品数量 GET /ecommerce/pro...
Elasticsearch学习-- 聚合查询
CelineT的博客
09-03 3004
missing：对空值赋默认值（设置成500，上图中表示，将price缺失的数据的price设置成500）min_doc_count：设置成1，表示输出结果doc_value大于等于1的数据（过滤0）因为聚合查询使用的是doc_values的正排索引，tags.keyword有正排索引。2）对分桶后的tags取平均price（在哪个的基础上进行操作，就放在同一级）1）查询price>4000的平均price和所有商品的平均price。doc_vaules是基于磁盘的，filed_data是基于内存的。
ES的bool查询 (must、should)
热门推荐
SongYuxinIT的博客
10-09 2万+
ElasticSearch之bool 1、must (must字段对应的是个列表，也就是说可以有多个并列的查询条件，一个文档满足各个子条件后才最终返回) 2、should (只要符合其中一个条件就返回) 3、must_not (与must相反，也就是说可以有多个并列的查询条件，一个文档各个子条件后才最终的结果都不满足) 4、filter(条件过滤查询，过滤条件的范围用range表示gt表示大于、lt表示小于、gte表示大于等于、lte表示小于等于) bool查询总结 must：与关系，.
ES-聚合查询
蓝天⊙白云的博客
03-16 7972
size=0 { “aggs”: { “”: { “histogram”: { “field”: “price”, #字段名称 “interval”: 1000, #区间间隔 “keyed”: true, #返回数据的结构化类型 “min_doc_count”: , #返回桶的最小文档数阈值，即文档数小于num的桶不会被输出 “missing”: 1999 #空值的替换值，即如果文档对应字段的值为空，则默认输出1999（参数值） } } } }
elasticsearch高级功能之聚合查询
nandao158的博客
01-03 5406
elasticsearch高级功能之聚合查询
Elasticsearch 基本使用（四）聚合查询
冰糖的博客
06-18 8409
说到聚合查询，马上会想到 SQL 中的 group by，ES中也有类似的功能，名叫 Aggregation。默认，ES的聚合以分组内数量倒序排序。我们基于上面最后的统计结果，自定义聚合结果排序默认排序方式按数量升序之前说过，默认分组，提供了两个字段的返回；key 和 doc_count，如果要自定义这两个基本字段排序方式，需要在前面加上 下划线 _当然还可以按照其他聚合函数的结果排序。
java使用elasticsearch分组进行聚合查询过程解析
08-25
Elasticsearch 的聚合查询可以对数据进行分组、聚合、排序等操作。聚合查询可以根据不同的字段进行分组，例如根据任务 ID、用户 ID 等字段对数据进行分组。同时，Elasticsearch 还提供了多种聚合函数，例如 SUM、AVG...
spring 操作elasticsearch查询使用方法
08-30
Spring 操作 Elasticsearch 查询使用方法 Spring 框架在数据存储和检索方面提供了强大的支持，而 Elasticsearch 则是当前最流行的搜索引擎之一。将 Spring 和 Elasticsearch 结合使用，可以实现高效、灵活的数据...
elasticSearch查询语句DSL
06-27
在这篇资源中，我们将详细介绍如何使用DSL...最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势。我们将探讨性能优化、查询调试和索引优化等关键主题，以提升查询效率和搜索准确性。
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
easy-ES框架使用，轻松操作查询Elasticsearch
06-01
本文将详细介绍如何使用easy-ES来轻松地进行Elasticsearch的数据操作和查询。 ### 1. easy-ES框架简介 easy-ES框架是为了解决在Java开发中与Elasticsearch交互时的复杂性而诞生的。它提供了一套简洁、直观的API，...
es数据聚合
CV工程师呀
02-09 2928
1.kibana实现 1.1.聚合的种类 聚合常见的有三类： 桶（Bucket）聚合：用来对文档做分组 TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组 Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等 Avg：求平均值 Max：求最大值 Min：求最小值 Stats：同时求max、min、avg、sum等 管道（pipeline）聚合：其它聚合的结
Elasticsearch查询 - Bool查询
weixin_43796428的博客
06-19 5108
Bool查询是Elasticsearch中最为强大的查询方式之一，它能够通过将多个子查询进行逻辑组合的方式，实现复杂的查询需求。在Bool查询中，可以使用must、must_not、should和filter这四种不同类型的子查询。其中，must代表必须满足的查询条件，must_not代表不能满足的查询条件，should代表可选满足的查询条件，而filter则是无论是否满足都会参与计算的查询条件。通过这些子查询的逻辑组合，可以实现复杂的查询需求。
es系列：聚合查询
zhuchunyan_aijia的博客
02-08 1万+
对某个字段取最大值max { "aggs":{ "max_age":{ "max":{"field":"age"} } }, "size":0 } 年龄字段取最大值 对某个字段求最小值 { "aggs":{ "min_age":{ "min":{"field":"age"} } }, "size":0 } 对某个字段求和 { "aggs":{ "sum_age":{ "sum":{"field":"age"} } }, "size":0 } 对某个字段取
Java操作es实现聚合查询
07-08
在Java中操作Elasticsearch实现聚合查询，您可以使用Elasticsearch的官方Java客户端库进行操作。以下是一个简单的示例代码，演示如何执行聚合查询： 首先，您需要导入Elasticsearch的Java客户端库。您可以通过在项目的构建文件中添加相应的依赖来实现，例如使用Maven： ```xml <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.16.3</version> </dependency> ``` 然后，您可以使用以下代码执行聚合查询： ```java import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestClient; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.search.aggregations.AggregationBuilders; import org.elasticsearch.search.aggregations.bucket.terms.Terms; import org.elasticsearch.search.aggregations.metrics.sum.Sum; import org.elasticsearch.search.builder.SearchSourceBuilder; import java.io.IOException; public class ElasticsearchAggregationExample { public static void main(String[] args) { // 创建 Elasticsearch 客户端 RestHighLevelClient client = new RestHighLevelClient( RestClient.builder("localhost:9200")); // 构建聚合查询请求 SearchRequest searchRequest = new SearchRequest("your_index_name"); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); // 添加聚合查询条件 searchSourceBuilder.query(QueryBuilders.matchAllQuery()); searchSourceBuilder.aggregation( AggregationBuilders.terms("by_field") .field("your_field_name") .subAggregation( AggregationBuilders.sum("sum_of_field") .field("your_field_name"))); searchRequest.source(searchSourceBuilder); try { // 执行查询 SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); // 处理聚合结果 Terms terms = searchResponse.getAggregations().get("by_field"); for (Terms.Bucket bucket : terms.getBuckets()) { String fieldKey = bucket.getKeyAsString(); long docCount = bucket.getDocCount(); Sum sum = bucket.getAggregations().get("sum_of_field"); double sumValue = sum.getValue(); // 处理聚合结果 System.out.println("Field: " + fieldKey); System.out.println("Doc Count: " + docCount); System.out.println("Sum of Field: " + sumValue); } } catch (IOException e) { e.printStackTrace(); } finally { // 关闭 Elasticsearch 客户端连接 try { client.close(); } catch (IOException e) { e.printStackTrace(); } } } } ``` 请根据您的实际情况修改代码中的索引名称、字段名称和聚合类型。这个示例代码执行了一个术语（terms）聚合，按照某个字段进行分桶，并在每个桶中进行求和。您可以根据具体需求进行调整和扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值