es painless 聚合查询 脚本查询 聚合结果求和

最新推荐文章于 2024-08-07 14:09:20 发布
最新推荐文章于 2024-08-07 14:09:20 发布
阅读量2.9k 收藏 1
点赞数
分类专栏： es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31720329/article/details/104432796
版权
本文记录了一次使用Elasticsearch的Painless脚本查询来完成复杂聚合统计的过程，包括公司各部门的人数分布、特定月份的在职、入职、离职人数，并详细阐述了查询条件和逻辑，如入职离职日期的判断，以及全公司范围内的求和统计。通过这样的查询，实现了高性能的聚合查询需求。
摘要由CSDN通过智能技术生成

我需要通过一次ES查询, 完成如下场景:

统计一个公司下各个部门的人数分布, 并需要统计各个部门的1月份在职人数, 入职, 离职人数, 以及公司总共的在职, 入职, 离职人数

具体条件如下(做了简化处理)

  • 查询出的人员需要为指定公司 id 的人员(条件中的 c_company_id 表示)
  • 部门统计需要统计值为空的人数(脚本的 "missing": "未填写" 表示)
  • 员工只存储了入/离日期字段
  • 月初在职人数(employed_origin 表示)
    • 对于 c_status 字段在 [1, 2] 区间内(非离职人员), 并且入职日期小于 2020-01-01, 该员工计入在职人数
    • 对于 c_status 为 3 的员工(离职人员), 如果他的离职日期大于 2020-01-01 并且入职日期小于 2020-02-01, 那么该员工计入在职员工
  • 入职人数(hire 表示)
    • 入职日期介于 2020-01-01 和 2020-02-01 之间的人数
  • 离职人数(leave 表示)
    • c_status 为 3 并且离职日期介于 2020-01-01 和 2020-02-01 之间的人数
  • 月末在职人数(这才是真正需要的在职人数的值)
    • 月初在职人数 + 入职人数 - 离职人数
  • 最后几个 sum_bucket
最低0.47元/天 解锁文章
zp0int
关注
专栏目录
ElasticSearch~聚合查询~(求和、最大值、最小值、平均值、去重、百分比、占比、中位数、topN、分组聚合)
feizuiku0116的博客
02-25 1万+
一、ES聚合分析查询的写法 "aggregations" : { "<aggregation_name>" : { <!--聚合的名字 --> "<aggregation_type>" : { <!--聚合的类型 --> <aggregation_body>
ElasticSearch 聚合查询-脚本
酆都城博客
08-29 465
ElasticSearch 聚合查询-脚本 •指标聚合：相当于MySQL的聚合函数。max、min、avg、sum等 •桶聚合：相当于MySQL的 group by 操作。不要对text类型的数据进行分组，会失败。 就是将 查询结果进行分组显示在控制台，对查询结果进行，求和统计、最大值、最小值、平均值等函数方面的计算查询。 # 聚合查询 # 指标聚合 聚合函数 GET goods/_search { "query": { "match": { "title": "手机"
Elasticsearch之聚合aggregations
Dreamer.
01-11 5091
聚合可以让我们极其方便的实现对数据的统计、分析。例如： 什么品牌的手机最受欢迎？ 这些手机的平均价格、最高价格、最低价格？ 这些手机每月的销售情况如何？ 实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现实时搜索效果。 1 基本概念 Elasticsearch中的聚合，包含多种类型，最常用的两种，一个叫桶，一个叫度量： 桶（bucket） 桶的作用，是按照某种方式对...
ES：使用painless脚本修改字段内容
最新发布
啃编程
08-07 267
假设index-a的url字段包含内容“..\..\a\b”，现在要把它替换为空。忽略 SSL 证书验证（适用于自签名证书）。：脚本内容，使用 Painless 脚本语言。需要注意里面对“\”的转义。：指定 HTTP 方法为 POST。：指定脚本语言为 Painless。：指定请求的内容类型为 JSON。：提供用户名和密码进行基本认证。：指定要执行的脚本。
es数据聚合
CV工程师呀
02-09 2954
1.kibana实现 1.1.聚合的种类 聚合常见的有三类： 桶（Bucket）聚合：用来对文档做分组 TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组 Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等 Avg：求平均值 Max：求最大值 Min：求最小值 Stats：同时求max、min、avg、sum等 管道（pipeline）聚合：其它聚合的结
es 报表聚合，分组，求和，排序，合计，分页等综合应用
BUG指挥课堂
04-12 5234
一，最终实现：查询条件及查询结果如下图所示 需要实现：分组，求和，聚合后排序，总计，分页 二， 需求分析：关于分组维度 es数据主键为：日期（年月日）+采购组织+采购组+门店 统计维度：可根据是否选择门店，按日或按月统计可分为四种情况 日+采购组织+采购组；采购组织+采购组；日+采购组织+采购组+门店；月+采购组织+采购组+门店； 按正常es多条件分组求和处理方式很麻烦，可参考网上写法。可以转变思路，把每个维度拼接成一个字段，即新增四个字段，多条件分组统计转化为单条件分组统计，实现起来会简.
ElasticSearch Painless 脚本 简单使用
周天祥的博客
08-06 1万+
ElasticSearch Painless 脚本 简单使用 数据准备 使用for循环---改变搜索评分 使用for循环---对数组求和 对拼接字段排序 使用脚本更新文档 使用脚本添加新字段 使用脚本对日期操作 正则表达式使用 1、数据准备 PUT hockey/_bulk?refresh {"index":{"_id":1}} {"first":"johnny","la...
elasticsearch 聚合操作分组查询 并列分组在通过其他字段求sum 排序 并列分组效果类似于 Mysql中的（Select A,B from 表名 group by A,B)
m0_46937429的博客
04-24 4483
需求 有三个字段 需要把A字段和B字段结合起来 共同分组 用Mysql 写的话 就相当一是 Select A,B from 表名 group by A,B 但是在elasticsearch 的查询中分组都是 : Aggregation（中文意思：聚合）关键字进行聚合分组，然后是最关键的，多个group by不能使用并列Aggregation，必须使用嵌套聚合，采用subAggregation进行嵌套！！ TermsAggregationBuilder agg_top_elapsed_time_by_appl
java操作es聚合操作并显示其他字段_ElasticSearch Aggregations使用总结详解
weixin_35931648的博客
12-23 4056
1.单字段情况下聚合假设只需要对一个字段聚合，比如b字段，b字段是keyword类型，需要考虑的情况最为简单，当要对b字段聚合时语句很好写，如下即可{"from": 0,"size": 0,"query": {"bool": {"must": [{"bool": {"should": [{"terms": {"field_a": ["1", "2", "3"],"boost": 1.0}}, {"...
Elasticsearch 之 Metrics Aggregations（数值度量聚合）
天空之城
07-01 2187
Metrics Aggregations（数值度量聚合） 该系列中的聚合基于以某种方式从正在聚合的文档中提取的值来计算度量。这些值通常从文档的字段中提取(使用字段数据)，但也可以使用脚本生成。 数值度量聚合是一种输出数值的特殊类型的度量聚合。一些聚合输出单个数值度量（例如平均值），称为单值度量聚合，另一些输出多个度量值（例如统计数据），称为多值数值度量聚合。单值与多值数值度量聚合的区别是，他们充当...
ES去重求和解决精度问题 scripted_metric 去重求和脚本计算高效率解决问题
B_Courier的博客
11-12 2150
ElasticSearch scripted_metric 去重求和脚本计算高效率解决问题 11月12日解决问题记录 排序问题还需深入思考 话不多说直接贴代码 ： init_script 定义 map_script 操作 判断 combine_script 操作返回记录 reduce_script 返回sum值 { "size": 0, "query": { "bo...
ES 根据查询条件求和sum
bohu83的博客
11-18 1万+
最简单的查询求和，类似于SQL： select sum(XX) from table where ; 不需要group by. 也就不需要TermsAggregationBuilder dsl: GET /index/base_info/_search { "aggs": { "query_amount": { "sum": { "field": "num" } } }, "query": { "match": {
elasticsearch实现聚合后两个字段相除/相加/相减/相乘运算
热门推荐
zpzkitt的专栏
09-26 1万+
1、实际需求 在sum聚合运算时会有两个值sum之后相除的运算方式sum(A)/sum(B)，这就需要用到es的Bucket ScriptAggregation聚合方式。 "aggregations" : { "A" : { "sum" : { "field" : "A" } }, "B" : { "sum" : { ...
es painless 排序_通过painless脚本控制elasticsearch搜索结果的评分 互联网技术圈 互联网技术圈...
weixin_33072399的博客
02-01 499
为了控制搜索结果的相关度，elasticsearch 提供了多种方式，通过脚本实现自定义评分逻辑是终极方式。脚本返回一个评分值，该值再与原_score再进行加法等运算。脚本编写很简单，我们跟随一个例子(基于5.5版本)来看看如何通过脚本实现自定义排序。创建 user_info索引，只有一个 name 字段，并且不分词：PUT user_info{"mappings":{"user": {"prop...
elasticsearch实现聚合后两个字段相除相加相减相乘运算
begefefsef的博客
08-16 2186
在sum聚合运算时会有两个值sum之后相除的运算方式sum(A)/sum(B)，这就需要用到es的Bucket ScriptAggregation聚合方式。备注：由于这个问题是一年之前遇到的，现在的新版ES应该有细微变化了，具体的可能需要重测试，但是评论区有人给出了新版的方法，可以尝试一下。bucket_path字段是一个映射map，用别名映射A和B聚合的桶，然后再在script中做脚本运算，但是es不支持按照聚合生成字段“(A/B)”排序。...
elasticsearch的group by分组和sum求和
qq_36594235的博客
05-19 6080
最近在使用es查询某个字段在特定查询条件下的某个字段的求和时，忘记了query语句是怎么写的，简单记录一下，方便自己和他人查阅。 一 什么是elasticsearch？ elasticsearch是一个分布式的使用 REST 接口的搜索引擎，简称为ES，它是面向文档的，可以存储整个对象或文档。 二：elasticsearch的几种操作 1对某个字段求和，相当于sql语句的： selectsum(字段名)fromtablewhere条件1 and 条件2 #对某个字段求和操作 ...
elasticsearch实现sql 几个字段相加 条件判断
wangh92
12-25 5982
select * from [fre_userlianghua] where [shop_id]='195' and ([fangyuanshou]+[fangyuanzu]+[keyuanshou]+[keyuanzu]+[yaoshi]+[fangkan]+[dianhua1]+[daikan]+[dianhua2]+[shengming1]+[shengming2])&amp;amp;lt;3 GET d...
elasticsearch查询多字段聚合
lln_avaj的专栏
03-01 1万+
1，需求： 在分页查询的同时，返回所查询商品的类目和品牌的聚合信息 2，mapping：     {         "item" : {             "properties" : {                 "item_name" : {                     "type" : "string",                             ...
Elasticsearch Painless脚本操作API实战指南
通过在Elasticsearch查询语句中嵌入Painless脚本，可以实现自定义的逻辑操作。例如，你可以根据特定条件修改文档的字段值，或者在聚合中计算复杂的结果。 Painless脚本语言支持常见的Java数据类型、控制流语句（如`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值