ElasticSearch搜索语法进阶学习（搜索+聚合，过滤+聚合）

最新推荐文章于 2024-06-17 16:55:24 发布
最新推荐文章于 2024-06-17 16:55:24 发布
阅读量748 收藏 1
点赞数
分类专栏： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41910694/article/details/109463250
版权

ElasticSearch聚合+搜索语法学习

目录

  1. 搜索+聚合：统计指定品牌下每个颜色的销量
  2. global bucket：单个品牌与所有品牌销量对比
  3. 过滤+聚合：统计价格大于1200的电视平均价格
  4. bucket filter：统计牌品最近一个月的平均价格
  5. 排序：按每种颜色的平均销售额降序排序
  6. 颜色+品牌下钻分析时按最深层metric进行排序
  7. cardinality去重算法以及每月销售品牌数量统计
  8. cardinality算法之优化内存开销以及HLL算法

ES数据参考上一篇：ElasticSearch聚合语法学习（bucket，metric，hitogram，date hitogram）

1. 搜索+聚合：统计指定品牌下每个颜色的销量

  1. 实际上来说，我们之前学习的搜索相关的知识，完全可以和聚合组合起来使用
select count(*)
from tvs.sales
where brand like "%长%"
group by price
  1. es aggregation，scope，任何的聚合，都必须在搜索出来的结果数据中之行，搜索结果，就是聚合分析操作的scope
GET /tvs/sales/_search 
{
  "size": 0,
  "query": {
    "term": {
      "brand": {
        "value": "小米"
      }
    }
  },
  "aggs": {
    "group_by_color": {
      "terms": {
        "field": "color"
      }
    }
  }
}

{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_by_color": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "绿色",
          "doc_count": 1
        },
        {
          "key": "蓝色",
          "doc_count": 1
        }
      ]
    }
  }
}

2. global bucket：单个品牌与所有品牌销量对比

  1. aggregation，scope，一个聚合操作，必须在query的搜索结果范围内执行
GET /tvs/sales/_search 
{
  "size": 0, 
  "query": {
    "term": {
      "brand": {
        "value": "长虹"
      }
    }
  },
  "aggs": {
    "single_brand_avg_price": {
      "avg": {
        "field": "price"
      }
    },
    "all": {
      "global": {},
      "aggs": {
        "all_brand_avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}
  1. global：就是global bucket，就是将所有数据纳入聚合的scope，而不管之前的query
  2. 出来两个结果，一个结果，是基于query搜索结果来聚合的; 一个结果，是对所有数据执行聚合的
{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 3,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "all": {
      "doc_count": 8,
      "all_brand_avg_price": {
        "value": 2650
      }
    },
    "single_brand_avg_price": {
      "value": 1666.6666666666667
    }
  }
}
  1. single_brand_avg_price：就是针对query搜索结果，执行的，拿到的，就是长虹品牌的平均价格
  2. all.all_brand_avg_price：拿到所有品牌的平均价格

3. 过滤+聚合：统计价格大于1200的电视平均价格

GET /tvs/sales/_search 
{
  "size": 0,
  "query": {
    "constant_score": {
      "filter": {
        "range": {
          "price": {
            "gte": 1200
          }
        }
      }
    }
  },
  "aggs": {
    "avg_price": {
      "avg": {
        "field": "price"
      }
    }
  }
}

{
  "took": 41,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 7,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "avg_price": {
      "value": 2885.714285714286
    }
  }
}

4. bucket filter：统计牌品最近一个月的平均价格

GET /tvs/sales/_search 
{
  "size": 0,
  "query": {
    "term": {
      "brand": {
        "value": "长虹"
      }
    }
  },
  "aggs": {
    "recent_150d": {
      "filter": {
        "range": {
          "sold_date": {
            "gte": "now-150d"
          }
        }
      },
      "aggs": {
        "recent_150d_avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    },
    "recent_140d": {
      "filter": {
        "range": {
          "sold_date": {
            "gte": "now-140d"
          }
        }
      },
      "aggs": {
        "recent_140d_avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    },
    "recent_130d": {
      "filter": {
        "range": {
          "sold_date": {
            "gte": "now-130d"
          }
        }
      },
      "aggs": {
        "recent_130d_avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

  1. aggs.filter，针对的是聚合去做的

  2. 如果放query里面的filter，是全局的，会对所有的数据都有影响

  3. 但是，如果，比如说，你要统计，长虹电视，最近1个月的平均值; 最近3个月的平均值; 最近6个月的平均值

  4. bucket filter：对不同的bucket下的aggs，进行filter

5. 排序：按每种颜色的平均销售额降序排序

  1. 之前的话，排序，是按照每个bucket的doc_count降序来排的

  2. 但是假如说，我们现在统计出来每个颜色的电视的销售额，需要按照销售额降序排序？？？？

GET /tvs/sales/_search 
{
  "size": 0,
  "aggs": {
    "group_by_color": {
      "terms": {
        "field": "color"
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 8,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_by_color": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "红色",
          "doc_count": 4,
          "avg_price": {
            "value": 3250
          }
        },
        {
          "key": "绿色",
          "doc_count": 2,
          "avg_price": {
            "value": 2100
          }
        },
        {
          "key": "蓝色",
          "doc_count": 2,
          "avg_price": {
            "value": 2000
          }
        }
      ]
    }
  }
}

GET /tvs/sales/_search 
{
  "size": 0,
  "aggs": {
    "group_by_color": {
      "terms": {
        "field": "color",
        "order": {
          "avg_price": "asc"
        }
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

6. 颜色+品牌下钻分析时按最深层metric进行排序

GET /tvs/sales/_search 
{
  "size": 0,
  "aggs": {
    "group_by_color": {
      "terms": {
        "field": "color"
      },
      "aggs": {
        "group_by_brand": {
          "terms": {
            "field": "brand",
            "order": {
              "avg_price": "desc"
            }
          },
          "aggs": {
            "avg_price": {
              "avg": {
                "field": "price"
              }
            }
          }
        }
      }
    }
  }
}

7. cardinality去重算法以及每月销售品牌数量统计

  1. 去重，cartinality metric，对每个bucket中的指定的field进行去重，取去重后的count，类似于count(distcint)
GET /tvs/sales/_search
{
  "size" : 0,
  "aggs" : {
      "months" : {
        "date_histogram": {
          "field": "sold_date",
          "interval": "month"
        },
        "aggs": {
          "distinct_colors" : {
              "cardinality" : {
                "field" : "brand"
              }
          }
        }
      }
  }
}

{
  "took": 70,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 8,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_by_sold_date": {
      "buckets": [
        {
          "key_as_string": "2016-05-01T00:00:00.000Z",
          "key": 1462060800000,
          "doc_count": 1,
          "distinct_brand_cnt": {
            "value": 1
          }
        },
        {
          "key_as_string": "2016-06-01T00:00:00.000Z",
          "key": 1464739200000,
          "doc_count": 0,
          "distinct_brand_cnt": {
            "value": 0
          }
        },
        {
          "key_as_string": "2016-07-01T00:00:00.000Z",
          "key": 1467331200000,
          "doc_count": 1,
          "distinct_brand_cnt": {
            "value": 1
          }
        },
        {
          "key_as_string": "2016-08-01T00:00:00.000Z",
          "key": 1470009600000,
          "doc_count": 1,
          "distinct_brand_cnt": {
            "value": 1
          }
        },
        {
          "key_as_string": "2016-09-01T00:00:00.000Z",
          "key": 1472688000000,
          "doc_count": 0,
          "distinct_brand_cnt": {
            "value": 0
          }
        },
        {
          "key_as_string": "2016-10-01T00:00:00.000Z",
          "key": 1475280000000,
          "doc_count": 1,
          "distinct_brand_cnt": {
            "value": 1
          }
        },
        {
          "key_as_string": "2016-11-01T00:00:00.000Z",
          "key": 1477958400000,
          "doc_count": 2,
          "distinct_brand_cnt": {
            "value": 1
          }
        },
        {
          "key_as_string": "2016-12-01T00:00:00.000Z",
          "key": 1480550400000,
          "doc_count": 0,
          "distinct_brand_cnt": {
            "value": 0
          }
        },
        {
          "key_as_string": "2017-01-01T00:00:00.000Z",
          "key": 1483228800000,
          "doc_count": 1,
          "distinct_brand_cnt": {
            "value": 1
          }
        },
        {
          "key_as_string": "2017-02-01T00:00:00.000Z",
          "key": 1485907200000,
          "doc_count": 1,
          "distinct_brand_cnt": {
            "value": 1
          }
        }
      ]
    }
  }
}

8. cardinality算法之优化内存开销以及HLL算法

1. cardinality解析
  1. cardinality，count(distinct)，5%的错误率，性能在100ms左右
  2. precision_threshold优化准确率和内存开销
GET /tvs/sales/_search
{
    "size" : 0,
    "aggs" : {
        "distinct_brand" : {
            "cardinality" : {
              "field" : "brand",
              "precision_threshold" : 100 
            }
        }
    }
}

  1. brand去重，如果brand的unique value，在100个以内，小米，长虹，三星，TCL，HTL…

  2. 在多少个unique value以内，cardinality，几乎保证100%准确

  3. cardinality算法，会占用precision_threshold * 8 byte 内存消耗，100 * 8 = 800个字节，占用内存很小，而且unique value如果的确在值以内，那么可以确保100%准确

  4. 100，数百万的unique value，错误率在5%以内

  5. precision_threshold，值设置的越大，占用内存越大，1000 * 8 = 8000 / 1000 = 8KB，可以确保更多unique value的场景下，100%的准确

  6. field，去重，count，这时候，unique value，10000，precision_threshold=10000，10000 * 8 = 80000个byte，80KB

2. HyperLogLog++ (HLL)算法性能优化

  1. cardinality底层算法：HLL算法，HLL算法的性能

  2. 会对所有的uqniue value取hash值，通过hash值近似去求distcint count，误差

  3. 默认情况下，发送一个cardinality请求的时候，会动态地对所有的field value，取hash值; 将取hash值的操作，前移到建立索引的时候

PUT /tvs/
{
  "mappings": {
    "sales": {
      "properties": {
        "brand": {
          "type": "text",
          "fields": {
            "hash": {
              "type": "murmur3" 
            }
          }
        }
      }
    }
  }
}

GET /tvs/sales/_search
{
    "size" : 0,
    "aggs" : {
        "distinct_brand" : {
            "cardinality" : {
              "field" : "brand.hash",
              "precision_threshold" : 100 
            }
        }
    }
}
Lumos`
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch聚合值过滤
03-02
elasticsearch先聚合然后通过聚合后的值再进行过滤 a
ElasticSearch 基础之语法学习
qq_34125349的博客
09-09 218
前言 日常Web 服务中，数据存储多选择mysql ，但是mysql 单表性能极致的情况数据条数区间在400w-500w之间，数据量超过这个体量时，解决方案多为，分片，分表，分库 等；但是业务数据量庞大且查询复杂到无法用DB 数据库来支撑时，此时可以引入Elasticsearch 来承载相关服务的数据操作压力； 一、Elasticsearch 是什么？ Elasticsearch 结合Kibana、Logstash、Beats 被广泛运用在大数据近实时分析领域，包括日志分析、指标监控、信息安全等多个领域。
Elasticsearch-ES查询单字段去重
最新发布
苍煜
06-17 1168
整体数据。
elastic search query dsl查询语法总结
u013905744的专栏
11-06 2093
elastic search query DSL 关键字很多，什么场景对应选择合适的DSL并不容易。 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html 核心概念 概念1 查询语句其可以分为两种类型： 子查询语句 Leaf query clauses 子查询子句在特定字段中查找特定值，例如match，term或range查询。 复合查询语句 Compound query clauses 复合查
ElasticSearch 学习及查询
简言
12-15 738
近期接触到搜索引擎ElasticSearch，简单做了一下学习记录。 ES的来源 ES全称ElasticSearch，是一种分布式全文搜索引擎，基于Lucene(全文搜索框架)封装和开元而来。 ES的基本概念 索引(Index)：一个索引就是含有某些相似特性的文档的集合。 一个索引需要有一个名称作为唯一标识 名称必须是小写 名通过文档去执行索引，搜索，更新和删除操作。 ...
Elasticsearch语法（聚合）
世 间 尤 物，不 敢 妄 取
12-07 830
初学es基本语法，语句
elasticsearch脚本实现先聚合后过滤
03-02
在 Elasticsearch (ES) 中，聚合（Aggregations）是一种强大的功能，允许我们对索引中的数据进行统计分析，如求平均值、计数、分桶等。而在某些场景下，我们可能需要在聚合的基础上进一步过滤结果，即基于聚合的结果...
day14-ElasticStack学习之Elasticsearch进阶.zip
01-29
总之，"ElasticStack学习之Elasticsearch进阶"课程涵盖了Elasticsearch的各个方面，从基础概念到高级特性，旨在帮助开发者充分利用这个强大的搜索引擎。通过理论与实践的结合，学员们不仅能理解Elasticsearch的工作...
Elasticsearch 聚合分析深入学习
01-07
类似于关系型数据库中的 SUM，AVG, GROUP BY 等，Elasticsearch 也提供了丰富的聚合运算方式，可以满足大部分分析和查询场景。 Doc Values 和 Field Data 在学习聚合分析之前，我们先了解一下 Doc Values 和 Field ...
ElasticStack学习之Elasticsearch进阶.zip
10-16
4. **查询与聚合**：Elasticsearch提供丰富的查询语法，如全文搜索、布尔查询、范围查询等。而聚合功能则允许对数据进行统计分析，如求平均值、计数、分桶等。掌握复杂的聚合查询能帮助我们挖掘数据价值。 5. **...
ES进阶教程
weixin_41636858的博客
11-27 990
es进阶内容
Elasticsearch搜索语法
懒人程序员的博客
05-28 212
创建一个demo索引 number_of_shards：主分区切片数 number_of_replicas：分区副本数 refresh_interval：索引更新时间 在elasticsearch7.0以后的版本废弃了type，mappings映射可以不指定type。下面是指定了type（doc） PUT /demo { "settings": { "number_of_shards": 1, "number_of_replicas": 1, "refresh_interval": "30s"
Elasticsearch进阶学习笔记
LaiDeJi_的博客
03-28 226
本篇文章是我在学习Elasticsearch时（以下简称es）记录的进阶笔记 之前的自己学习新技术的时候不喜欢记笔记，觉得脑子记住就行了，不懂的就面对百度编程。但是最近觉得还是：好记性不如烂笔头。 可能学完es之后，一个月不用又把知识点忘掉了，但是可以回来看看自己记的笔记，可以快速的知道大概内容。还有就是想锻炼自己写作的能力，越长大越喜欢写一些东西，越喜欢分享，哈哈哈。 我知道自己现在很菜，但是只要坚持，总会慢慢成长的，坚持自己热爱的东西，just do it. 不说废话了，好好写笔记吧 准备 首先，我们需
ElasticSearch练习二：聚合语法学习（aggs、bucket、metric、hitogram、date hitogram）
Yal_insist的博客
01-04 990
ElasticSearch练习二：聚合语法学习（aggs、bucket、metric、hitogram、date hitogram）
ES进阶语法
qq_42605968的博客
05-18 539
在练习语法前，先导入官网中的数据，来进行各种的语法测试 导入数据 samples
ElasticSearch 聚合查询语法解析
勤于笔记，成于点滴。
02-06 967
ElasticSearch 聚合查询语法j解析,在一些企业制定化需求中有很多特殊的场景，需要我们去聚合数据来满足业务需求，如sum、avg、value_count、max、min等指标聚合，terms、histogram、date_histogram、range等桶聚合函数。
ElasticSearch-查询语法(聚合查询)
weixin_45203607的博客
11-08 1827
Percentiles Ranks Aggregation 与 Percentiles Aggregation 统计恰恰相反，就是想看当前数值处在什么范围内（百分位）， 假如你查一下当前值 500 和 600 所处的百分位，发现是 90.01 和 100，那么说明有 90.01 % 的数值都在 500 以内，100 % 的数值在 600 以内。在聚合执行的过程中，从每个文档提取出来的值都会检查每个分组的范围，并且使相关的文档落入分组中。注意，范围聚合的每个范围内包含 from 值但是排除 to 值。
【ElasticSearch】数据聚合语法与Java实现
llg___的博客
07-09 2587
默认情况下，Bucket聚合会统计Bucket内的文档数量，记为_count，并且按照_count降序排序。这里获取筛选信息的接口有传参，是因为，如果筛选项是对索引库全部数据进行聚合，就会出现这个场景;即，我已经搜了上海虹桥了，但底下的城市过滤项还有其他城市，因此要对聚合加过滤条件。统计所有数据中的酒店品牌有几种，此时可以根据酒店品牌的名称做聚合。看到这个格式，最先想到的数据格式应该是Map。
ES入门与进阶
chbxw
02-07 1231
ES 类比 MySql MySql ES database(数据库) index(索引库) table(表) type(类型) row(行) document(文档) column(列) field(字段)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值