ES-组合与聚合

已于 2023-12-16 10:15:45 修改
阅读量174 收藏
点赞数
分类专栏： ES 文章标签： elasticsearch 数据库 搜索引擎 es组合 es聚合
于 2023-12-16 09:01:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43259860/article/details/134838812
版权

ES组合查询

1 must
满足两个match才会被命中

GET /mergeindex/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": "liyong"
          }
        },
        {
          "match_phrase": {
            "desc": "liyong"
          }
        }
      ]
    }
  }
}

2 must 可以换成filter,这样可以不用计算score 这样性能更好。

GET /mergeindex/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "match": {
            "name": "liyong"
          }
        },
        {
          "match_phrase": {
            "desc": "liyong"
          }
        }
      ]
    }
  }
}

3 should 类似于SQL中的 or

GET /mergeindex/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "name": "liyong"
          }
        },
        {
          "match_phrase": {
            "desc": "liyong"
          }
        }
      ]
    }
  }
}

bool 支持嵌套但是不推荐。
4 must 与 filter 组合使用
这个时候会限制性filter然后再执行must，也就是预处理，先过滤掉一部分数据。

GET /mergeindex/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": "liyong"
          }
        },
        {
          "match_phrase": {
            "desc": "liyong"
          }
        }
      ],
      "filter": [
        {
          "range": {
            "salary": {
              "gte": 0,
              "lte": 190000
            }
          }
        }
      ]
    }
  }
}

5 filter 和 should 一起使用
有可能会有一个问题，就是should不工作，需要加上一个兜底条件minimum_should_match : 1 最好是加上。

GET /mergeindex/_search
{
  "query": {
    "bool": {
     #should 至少要匹配一个
     "minimum_should_match" : 1, 
      "should": [
        {
          "match": {
            "name": "liyong"
          }
        },
        {
          "match_phrase": {
            "desc": "liyong"
          }
        }
      ]
    }
  }
}

ES聚合

GET /demo/_search
{
  "size" : 0, #不返回hints 减少数据量
  "aggs": { #固定语法
    "age": { #自定义名字
      "terms": {
        "field": "age", #根据年龄进行聚合
        "size": 10
      }
    }
  }
}

在这里插入图片描述
需要注意点是如果是文本则不能直接聚合，需要使用keyworkd

GET /product/_search
{
  "size": 0, 
   "aggs": {
    "age": {
      "terms": {
        "field": "tags.keyword", # 这里不能填 tags 因为默认会被拆分，然后每个元素都是text类型
        "size": 10 #限制桶的数量 如果填1 就只返回一个聚合结果
      }
    }
  }
}

在这里插入图片描述
status 可以一下统计常见的数值

GET /demo/_search
{
  "size": 0, 
   "aggs": {
    "age_status": {
      "stats": {
        "field": "age"
      }
    }
  }
}

在这里插入图片描述
也可以分开来写

GET /demo/_search
{
  "size": 0,
  "aggs": {
    "max_age": {
      "max": {
        "field": "age"
      }
    },
    "min_age": {
      "min": {
        "field": "age"
      }
    },
    "sum_age": {
      "sum": {
        "field": "age"
      }
    },
    "avg_age": {
      "avg": {
        "field": "age"
      }
    },
    "count": {
      "value_count": {
        "field": "age"
      }
    }
  }
}

在这里插入图片描述

去重


GET /demo/_search
{
  "size": 0,
  "aggs": {
   "distinct_name" : {
     "cardinality": {
       "field": "age" #去除重复的年龄有几个种类
     }
   }
  }
}

在这里插入图片描述
聚合嵌套

GET demo/_search
{
  "size": 0,
  "aggs": {
    "age_bucket": {
      "terms": {
        "field": "name.keyword"
      },
      "aggs": { #这个案例演示aggs是可以嵌套的
        "age_bulk": {
          "avg": {
            "field": "age"
          }
        }
      }
    },
    "min_bucket": {
      "min_bucket": {
        "buckets_path": "age_bucket>age_bulk" #固定语法 直接筛选出了 年龄最小的
      }
    }
  }
}

在这里插入图片描述
先筛选再聚合

GET product/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 1000
      }
    }
  }, # 先筛选出数据 在进行聚合
  "aggs": {
    "type_bucket": {
      "terms": {
        "field": "type.keyword" #根据type进行分组
      }
    }
  }
}

排序

GET /product/_search?size=0
{
  "aggs": {
    "tags_aggs": {
      "terms": {
        "field": "tags.keyword",
        "size": 10,
        "order": {
          "_key": "asc" #根据_count来排序 通过数量来排序
        }
      }
    }
  }
}

嵌套排序

#不返回hits中的数据
GET /product/_search?size=0 
{
  "aggs": {
    "first_sort": {
      "terms": {
        "field": "tags.keyword",
        "order": {
          "_count": "desc"
        }
      },
      "aggs": {
        "second_sort": {
          "terms": {
            "field": "type.keyword",
            "order": {
              "_count": "desc"
            }
          }
        }
      }
    }
  }
}

自定义排序


GET /product/_search?size=0 #指定不返回hints
{
  "aggs": {
    "type_price": {
      "terms": {
        "field": "type.keyword",
        "order": {
          #过滤的名字 第二个过滤器有多个止值可以用.来指定
          #指定聚合那个字段排在前面
          "agg_stats>stats.min": "asc" 
        }
      },
      "aggs": {
        "agg_stats": {
          "filter": {
            "terms": {
              "tags.keyword": [
                "88vip",
                "tmall"
              ]
            }
          },
          "aggs": {
            "stats": {
              "stats": {
                "field": "price"
              }
            }
          }
        }
      }
    }
  }
} 
#先根据type分类然后 根据tags 筛选 再 根据最小值进行排序

直方图
首先来看这样一个例子

GET /product/_search?size=0
{
  "aggs": {
    "price_range": {
      "range": {
        "field": "salary",
        "ranges": [
          {
            "from": 0,
            "to": 1000
          },
          {
            "from": 1000,
            "to": 2000
          },
          {
            "from": 2000,
            "to": 3000
          },
          {
            "from": 3000,
            "to": 4000
          }
        ]
      }
    }
  }
}

在这里插入图片描述
这里相当于做一个统计，但是需要一个一个定义，类似于坐标轴x,可以有更简单的写法

GET /product/_search?size=0
{
  "aggs": {
    "price_range": {
     "histogram": {
       "field": "salary",
       "interval": 1000 #坐标间距
      
     }
    }
  }
}


GET /product/_search?size=0
{
  "aggs": {
    "price_range": {
     "histogram": {
       "field": "salary",
       "interval": 1000,
       "missing": 0, #如果为空值就为0
       "min_doc_count": 1 #小于1的不展示 依据doc_count属性
     }
    }
  }
}

在这里插入图片描述
时间直方图

GET /product/_search
{
  "aggs": {
    "price_range": {
      "date_histogram": {
        "field": "date",
        #看月度数据
        "calendar_interval": "month", #year day
        #看2023-01 - 06的数据
        "extended_bounds": {
          "min": "2023-01",
          "max": "2023-06"
        }
      }
    }
  }
}

水位

GET /product/_search
{
  "size" : 0,
  "aggs": {
    "salary_range": {
      "percentile_ranks": {
        "field": "salary",
        "values": [
          1000,
          2000,
          3000,
          4000
        ]
      }
    }
  }
}

它的意思是，有27%的数据薪水不超过1000， 有38%的薪水不超过2000，以此类推吧
在这里插入图片描述

developer@liyong
关注
专栏目录
【ES】---ES的聚合(aggregations)
寻梦友的博客
07-23 913
聚合是对文档数据的统计、分析、计算。参与聚合的字段类型必须是：keyword、数值、日期、布尔，不能是分词字段。
Elasticsearch的灵魂，查询的用法与解析，基本查询，聚合查询，多条件复合查询等。通过java，elasticsearch-rest-high-level-client api操作es。
bb1272196672的博客
08-23 1332
Elasticsearch的灵魂，查询的用法与解析，基本查询，聚合查询，多条件复合查询等。通过java，elasticsearch-rest-high-level-client api操作es。利用term，composite等高级聚合查询手法。springcloud技术，elastic Stack技术。
ES-进阶-聚合
qq_43045747的博客
07-25 193
类似于 DSL 查询表达式，聚合也有 可组合 的语法：独立单元的功能可以被混合起来提供你需要的自定义行为。这意味着只需要学习很少的基本概念，就可以得到几乎无尽的组合。 要掌握聚合，你只需要明白两个主要的概念： 桶（Buckets）满足特定条件的文档的集合指标（Metrics）对桶内的文档进行统计计算 这就是全部了！每个聚合都是一个或者多个桶和零个或者多个指标的组合。翻译成粗略的SQL语句来解释吧： 桶在概念上类似于 SQL 的分组（GROUP BY），而指标则类似于COUNT()、SUM()...
ES 聚合函数的用法
mclongyi的专栏
08-05 1万+
1. ES聚合分析是什么？ 聚合分析是数据库中重要的功能特性，完成对一个查询的数据集中数据的聚合计算，如：找出某字段（或计算表达式的结果）的最大值、最小值，计算和、平均值等。ES作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。 对一个数据集求最大、最小、和、平均值等指标的聚合，在ES中称为指标聚合 metric 而关系型数据库中除了有聚合函数外，还可以对查询出的数据进行分组group by，再在组上进行指标聚合。在 ES 中group by 称为分桶，桶聚合 bucketing ES中还提供..
ES的复杂查询(二)——聚合、分组
gangye19970101的博客
03-11 1万+
ES的聚合查询(SUM、MAX、MIN、AVG) 1.求和查询 例如查询cust_name_s为张三的txn_amt_d的和，sql语句是 select sum(txn_amt_d) as sum_number from trade_info.csrcb where cust_name_s = '张三' 对应的es的查询就是(此处与sql中的sum一样，也有起别名以及聚合方式的参数，其中的aggs可以写全，写成aggregatins) curl -XPOST "http://192.168.2
（转）es多字段分组聚合3种实现方式
最新发布
PacosonSWJTU的博客
12-25 3085
multi_terms 聚合将来自多个字段的术语组合成一个复合key。会禁用全局序数，并且比从单个term聚合要慢。在创建索引的mapping时创建一个新的专用copy_to字段，后续可以在这个字段上进行汇总查询。2、使用 copy_to 字段（需要提前mapping，暂不考虑）二、多字段分组聚合的三种实现方法（性能不高）一、ElasticSearch的分组聚合。注意7.12版本新特性，旧版本不用考虑。3、multi_terms 聚合。1、使用 Script。
elasticsearch-jdbc-2.3.3.0-dist.zip
03-10
4. **全文搜索与分析**: 一旦数据被导入Elasticsearch，就可以利用其强大的全文搜索、聚合和分析功能进行复杂查询。Elasticsearch的倒排索引机制使得搜索性能极高，非常适合处理大规模数据。 5. **监控与维护**: 在...
elasticsearch-6.8.0+elasticsearch-analysis-ik-6.8.0 .zip
06-03
5. **查询接口设计**：利用 Elasticsearch 的 Query DSL 设计查询接口，支持多种查询条件和组合。 6. **结果排序与聚合**：实现搜索结果的排序和聚合统计，以提供更丰富的查询结果展示。 7. **监控与调优**：通过 ...
elasticsearch-7.8.0-x86_64.rpm + kibana-7.8.0-x86_64.rpm + logstash-7.8.0.rpm
07-14
2. **Kibana**：Kibana 是一个数据可视化工具，与 Elasticsearch 集成，用于探索和可视化存储在 Elasticsearch 中的数据。在7.8.0版本中，用户可以创建仪表板，展示各种图表、表格和时间线，以帮助理解数据模式和...
elasticsearch7.9+elasticsearch-head-master+node-v12.18.3
08-26
Elasticsearch是一款强大的开源搜索引擎和分析引擎，基于Lucene构建，支持实时分析、搜索、聚合和监控数据。在7.9版本中，它提供了许多改进和新特性： 1. **性能优化**：Elasticsearch 7.9版本进行了大量的性能优化...
es笔记六之聚合操作之指标聚合
weixin_43354181的博客
12-27 2857
类似于分类分组，按照某个 key 将符合条件的数据都放到该类别的组中计算一组文档的相关值，比如最大，最小值根据多个 key 从文档中提取值生成矩阵，这个操作不支持脚本（script）将其他聚合的结果再次聚合输出聚合是支持套娃（嵌套）操作的，你可以在聚合的结果上接着进行聚合操作，es 是不限制聚合的深度的。
es系列：聚合查询
zhuchunyan_aijia的博客
02-08 1万+
对某个字段取最大值max { "aggs":{ "max_age":{ "max":{"field":"age"} } }, "size":0 } 年龄字段取最大值 对某个字段求最小值 { "aggs":{ "min_age":{ "min":{"field":"age"} } }, "size":0 } 对某个字段求和 { "aggs":{ "sum_age":{ "sum":{"field":"age"} } }, "size":0 } 对某个字段取
ES聚合用法
lazyboy2的博客
06-04 1万+
ES中的聚合查询，类似SQL的SUM/AVG/COUNT/GROUP BY分组查询，主要用于统计分析场景。下面先介绍ES聚合查询的核心流程和核心概念。ES聚合查询类似SQL的GROUP by，一般统计分析主要分为两个步骤：对查询的数据首先进行一轮分组，可以设置分组条件，例如：新生入学，把所有的学生按专业分班，这个分班的过程就是对学生进行了分组。组内聚合，就是对组内的数据进行统计，例如：计算总数、求平均值等等，接上面的例子，学生都按专业分班了，那么就可以统计每个班的学生总数， 这个统计每个班学生总数的计算，就
ES-聚合查询
蓝天⊙白云的博客
03-16 8131
size=0 { “aggs”: { “”: { “histogram”: { “field”: “price”, #字段名称 “interval”: 1000, #区间间隔 “keyed”: true, #返回数据的结构化类型 “min_doc_count”: , #返回桶的最小文档数阈值，即文档数小于num的桶不会被输出 “missing”: 1999 #空值的替换值，即如果文档对应字段的值为空，则默认输出1999（参数值） } } } }
ES数据聚合
PaoShan的博客
02-01 997
从理论到实操
ES,Kibana 定时汇聚rollup使用
u011311291的博客
03-22 2515
数据: https://blog.csdn.net/u011311291/article/details/103336692 设置定时任务 每30秒执行一次，按1年汇聚，并按sex进行group by,求合和最大值,最后将结果存放到rollup_class这个index中 PUT _rollup/job/rollupclass { "index_pattern": "class*", ...
ES多字段聚合取聚合结果
zgxy666的博客
09-14 8689
private Map<String, Long> errorCount(ParamModel paramModel, RestHighLevelClient restHighLevelClient) { SearchResponse response = null; Map<String, Long> countResult = new HashMap&lt...
es的bool，排序，聚合组合查询
weixin_41603009的博客
08-16 5727
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 **//多条件bool精准通配符查询 public JSON boolQuery(TransportClient client,JSONObject body){ SearchRequestBuilde...
elasticsearch系列-ES对多个字段聚合，select A,B,COUNT(*) from table group by A,B
热门推荐
weixin_41279060的博客
12-20 3万+
ES对多个字段聚合，select A,B from table group by A,B 假设有下表 NAME SEX PROF 李诚 男 副教授 张旭 男 讲师 王萍 女 助教 刘冰 女 助教 要查询select SEX,PROF,COUNT(*) from table group by SEX,PROF 1、正确的答案： 修改elasticsearch.yml配置文件
Elasticsearch(8) --- 聚合查询(Metric聚合)
05-13
在Elasticsearch中，聚合(aggregation)是一种强大的数据分析工具，可以对文档进行统计分析并返回计算结果。其中，Metric聚合是一种聚合类型，它会对文档中的某些数值型字段进行统计计算，例如：平均值、最大值、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值