Elasticsearch Terms聚合性能提升10倍

最新推荐文章于 2024-06-21 13:53:54 发布
最新推荐文章于 2024-06-21 13:53:54 发布
阅读量9.0k 收藏 8
点赞数 1
分类专栏： elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangmaohong0717/article/details/82429278
版权 
{
  "size": 0,
  "query": {
    "bool": {
      "filter": {
        "range": {
          "requestTime": {
            "from": 1536127200000,
            "to": 1536135000006,
            "include_lower": true,
            "include_upper": true
          }
        }
      }
    }
  },
  "aggregations": {
    "ip": {
      "terms": {
        "field": "ip",
        "size": 50
      },
      "aggregations": {
        "modeZero": {
          "filter": {
            "term": {
              "mode": "0"
            }
          },
          "aggregations": {
            "userName": {
              "cardinality": {
                "field": "userName"
              }
            }
          }
        },
        "resultOne": {
          "filter": {
最低0.47元/天 解锁文章
hello-friend
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
es 排序 聚合统计_Elasticsearch实用的聚合操作Aggs
weixin_36303283的博客
01-17 9392
es的aggs可以分为度量聚合和桶聚合，下面就直接实战开发中经常用到的语句。1、度量聚合：min、max、sum、avg聚合， 度量聚合接收一个输入文档集并生成至少一个统计值sum。1)sum聚合：统计不同日志类型的总数量sum(log_type)"aggs": {"sum_logtype": {"sum": {"field": "log_type"} }}2)count聚合：就是count(*)...
Elasticsearch 聚合性能优化六大猛招
hellozhxy的博客
08-02 864
也就是说，新插入的文档在刷新到段（内存中）之前，是不能被搜索到的。同理，聚合的前半部分 query 中如果有基于时间查询，或者后半部分 aggs 部分中有基于时间聚合的，建议都使用 datemath 方式做缓存处理以优化性能。如下图所示，Elasticsearch 中的 1 个索引由一个或多个分片组成，每个分片包含多个segment（段），每一个段都是一个倒排索引。因此，在 CPU 资源不是瓶颈的前提下，如果想缩短响应时间，可以将多个聚合拆分为多个查询，借助：msearch 实现并行聚合。
ES7.17版本terms查询性能问题
qq_33999844的博客
09-23 2132
ES迭代过程支持了越来越多特性与优化，版本升级显得十分必要。测试又很难覆盖所有场景，灰度升级过程中难免遇到一些问题，这里主要分析terms查询的一个性能损失问题。
Elasticsearch中的Term_Filter过滤器技术
最新发布
屿小夏.的知识博客
06-21 4万+
Term Filter作为Elasticsearch中的一项强大功能，为精确匹配和快速过滤文档提供了高效手段。通过深入了解其工作原理、探索多样化的使用场景并遵循最佳实践建议，我们可以充分利用Term Filter来优化搜索应用并提升用户体验。
ElasticSearch的多字段分组聚合的三种实现方式
IT- 研究者
03-26 1万+
ElasticSearch的多字段分组聚合的三种实现方式 一、ElasticSearch的分组聚合 官网文档地址： https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-terms-aggregation.html#_multi_field_terms_aggregation 实现背景：实现类似SQL的group by功能： select team,age from a_perso
ElasticSearch 优化 Terms 聚合的性能
章全蛋的博客
04-16 1968
Term聚合的时候，我们可以在Mapping设置 PUT index { "mappings":{ "properties":{ "foo":{ "type":"keyword", "eager_global_ordinals":true } } } } eager_global_ordinals 设置为 True ，当有新的数据写入的时候，ES 会把Te...
Elasticsearch聚合 之 Terms
06-19
Elasticsearch中的Terms聚合是一种常用的聚合方式，用于对文档中的某个字段进行分组统计。Terms聚合可以对文档中的某个字段进行分组，并统计每个组中的文档数量。 在Elasticsearch中，Terms聚合可以使用以下方式...
elasticsearch聚合值过滤
03-02
在 Elasticsearch（ES）中，聚合（Aggregations）是一种强大的数据汇总工具，允许用户对索引中的数据进行分组和统计分析。而“elasticsearch聚合值过滤”是ES聚合功能的一个高级应用场景，它允许我们根据聚合计算出...
elasticSearch查询语句DSL
06-27
我们将详细介绍诸如terms聚合、date_histogram聚合和range聚合等不同类型的聚合操作，帮助您掌握DSL在数据分析方面的强大功能。最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势...
elastic：用于Rust的Elasticsearch REST API客户端
02-05
"elastic" 客户端库提供了一系列接口，使得开发者能够轻松地执行常见的 Elasticsearch 操作，如索引文档、搜索、聚合数据以及管理集群状态等。以下是一些主要的知识点： 1. **安装与设置**： 使用 `cargo`（Rust ...
ElasticSearch常用查询的Java实现
10-12
ElasticSearch查询term，terms，match，id查询 ElasticSearch查询refix，fuzzy，wildcard，range，regexp查询 ElasticSearch查询scroll，delete-by-query，bool，boosting，filter，highlight查询 ElasticSearch查询...
elasticsearch聚合性能优化
bottle123的专栏
11-27 3569
最近用es做数据统计时，增加了一个统计维度，发现查询性能下降了十几倍，查询es文档发现 Terms Aggregation 的计算方式主要有以下两种： map，在内存中构建映射表，利用映射表完成聚合计算，可以看得出，这种方式会比较消耗内存。 global_ordinals，每个桶都会有一个全局序列号，也就是指定域中的唯一值都会有一个全局序列号，根据这个序列号完成相关的聚合过程。计...
elasticsearch中大数据量的aggregation聚合操作，耗时很长
冰封夕阳丶的博客
09-20 4958
场景：我们有一个需求是做热词统计的，发现加上时间限制和不加，性能并不提高多少，在数据1kw左右的时候，聚合操作要大改15s返回。 解决方法：terms aggregation内部加一个"execution_hint": "map"。返回速度能提高10倍 aggs 的execution_hint参数选择。目前 Elasticsearch 支持map、global_ordinal...
Elasticsearch性能优化实践
不见其长，日有所长
02-26 1637
1. 前言 Elasticsearch是一款流行的分布式开源搜索和数据分析引擎，具备高性能、易扩展、容错性强等特点。它强化了Apache Lucene的搜索能力，把掌控海量数据索引和查询的方式提升到一个新的层次。本文结合开源社区和阿里云平台的实践经验，探讨如何调优Elasticsearch的性能提高索引和查询吞吐量。 2. Elasticsearch部署建议 2.1 选择合理的硬件配置，尽可能使用...
ES terms聚合统计性能优化实践
aaronjcq的博客
08-08 6116
1、terms聚合统计，initialise 阶段的耗时，有助于我们调整对应 aggs 的 execution_hint 参数选择？ map：过滤之后，实际纳入统计的doc数量特别少，但是字段总的term数量超级多 适用场景： 过滤完之后，纳入统计的doc很少 不适用场景： 过滤完之后，纳入统计的doc很多 global_ordinals：过滤之后，实际纳入统计的doc数量特别多，但是...
es-聚合性能优化
langsiming的博客
01-09 3485
优化方案： 启用 eager global ordinals 提升高基数聚合性能 应用场景： ● 基于 keyword，ip 等字段的分桶聚合，包含：terms聚合、composite 聚合等。 ● 基于text 字段的分桶聚合（前提条件是：fielddata 开启）。 ● 基于父子文档 Join 类型的 has_child 查询和 父聚合。 global ordinals 使用一个数值代表字段中的字符串值，然后为每一个数值分配一个 bucket（分桶） 插入数据时对索引进行预排序 ● ndex sort
es查询大文本效率_es中terms查询速度能否优化
weixin_39977276的博客
12-20 1337
es表结构如下：PUT demo/{"mappings": {"demo": {"_all": {"enabled": false},"properties": {"aId": {"type": "keyword"},"cId": {"type": "keyword"}}}}}插入：按照如上单独aId和cId存储为一个doc查询：每次传入一个aId和1000个cId的列表，返回es中匹配的aId+...
Elasticsearch---性能提升建议
细心程度决定你的成败
10-26 1696
文章目录服务器层面代码层面表结构层面参考 服务器层面 服务器层面的优化主要是内存和负载均衡。避免ES由于JVM大于32G而导致不采用内存对象指针压缩技术，导致索引占用空间更大。避免没有做到ES分片没有很好的负载，导致一个节点中 承担了过多的处理导致拖慢整个处理时间。当然还有其他方面的优化 采用SSD作为存储设备。 使用本地存储，避免使用NFS或者SMB 注意使用虚拟存储 使用性能更好的CPU...
Elasticsearch Java API 的使用（17）—实现term查询、terms查询
zx711166的博客
09-06 7667
term查询 trem查询只可指定查询一个字段对应单个词条 public class EsMatchAll{ public void updateIndex(TransportClient client){ //查询所有（match_all） QueryBuilder qb = QueryBuilders.termQuery("interests", "c
es 排序 聚合统计_elasticsearch聚合统计出现次数
05-13
在 Elasticsearch 中，可以使用聚合（Aggregation）实现对文档进行聚合统计，其中包括出现次数的统计。下面是一个示例： 假设我们有一个名为 "sales" 的索引，包含以下文档： ``` { "product": "A", "price": 10.0, "timestamp": "2021-08-01T10:00:00Z" } { "product": "B", "price": 15.0, "timestamp": "2021-08-01T10:05:00Z" } { "product": "A", "price": 12.0, "timestamp": "2021-08-01T10:10:00Z" } { "product": "C", "price": 20.0, "timestamp": "2021-08-01T10:15:00Z" } { "product": "A", "price": 8.0, "timestamp": "2021-08-01T10:20:00Z" } { "product": "B", "price": 18.0, "timestamp": "2021-08-01T10:25:00Z" } ``` 现在，我们想要统计每个产品出现的次数，可以使用以下聚合查询： ``` { "aggs": { "products": { "terms": { "field": "product" } } } } ``` 其中，"aggs" 是聚合查询的关键字，"products" 是我们给这个聚合起的名字，"terms" 表示我们要按照某个字段进行分组，"field" 指定了我们要按照哪个字段进行分组。 运行上述查询后，得到的结果如下： ``` { "aggregations": { "products": { "buckets": [ { "key": "A", "doc_count": 3 }, { "key": "B", "doc_count": 2 }, { "key": "C", "doc_count": 1 } ] } } } ``` 其中，"key" 表示产品名称，"doc_count" 表示该产品出现的次数。 如果想要对出现次数进行排序，可以使用以下聚合查询： ``` { "aggs": { "products": { "terms": { "field": "product", "order": { "_count": "desc" } } } } } ``` 其中，"order" 表示按照什么字段进行排序，"_count" 表示按照出现次数进行排序，"desc" 表示降序排列。 运行上述查询后，得到的结果如下： ``` { "aggregations": { "products": { "buckets": [ { "key": "A", "doc_count": 3 }, { "key": "B", "doc_count": 2 }, { "key": "C", "doc_count": 1 } ] } } } ``` 其中，产品 A 出现的次数最多，排在第一位。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值