Elasticsearch的聚合使用

最新推荐文章于 2022-03-31 13:42:04 发布
最新推荐文章于 2022-03-31 13:42:04 发布
阅读量244 收藏
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42894393/article/details/106097599
版权
本文介绍了如何利用Elasticsearch的聚合功能来实现类似于MySQL中的GROUP BY操作，针对一个属性字段进行分组去重查询。在实际操作中遇到错误，通过在字段后添加keyword解决该问题，参考了相关资料。
摘要由CSDN通过智能技术生成

功能：使用es的聚合做去重查询类似mysql的group by 的使用
比如：我想在es中查询数据通过一个属性字段分组

SearchRequestBuilder sbuilder = client.prepareSearch("test").setTypes("tt");
TermsAggregationBuilder tab= AggregationBuilders.terms("id_count ").field("id");
sbuilder.addAggregation(tab);
SearchResponse response = sbuilder.execute().actionGet();

但是报错了：

Caused by: NotSerializableExceptionWrapper[: Fielddata is disabled on text fields by default. Set fielddata=true on [id] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory.
最低0.47元/天 解锁文章
weandyouto
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch聚合排序
冲出仁川，走出马德里，故事还会再继续
06-10 243
根据之前的博客可知，ES对于聚合结果的默认排序规则有时并非是我们希望的。可以使用ES提供的sort子句进行自定义排序，有多种排序方式可供选择：按照聚合后的文档计数的大小进行排序按照聚合后的某个指标进行排序按照每个组的名称进行排序。
ElasticSearch聚合分页
最新发布
冲出仁川，走出马德里，故事还会再继续
06-10 241
ES支持同时返回查询结果和聚合结果，前面的博客在介绍聚合查询时，查询结果和聚合结果各自封装在不同的子句中。但有时我们希望聚合的结果按照每组选出前N个文档的方式进行呈现，最常见的一个场景就是电商搜索，如搜索苹果手机6S，搜索结果应该展示手机6S型号中的一款手机即可，而不论该型号手机的颜色有多少种。另外，当聚合结果和查询结果封装在一起时，还需要考虑对结果分页的问题，此时之前的博客介绍的聚合查询就不能解决这些问题了。ES提供的Top hits聚合和Collapse。
elasticsearch脚本实现先聚合后过滤
03-02
elasticsearch脚本实现先聚合，然后使用聚合的值进行后过滤
Elasticsearch 之聚合
ailiandeziwei的专栏
03-25 535
本文主要介绍 Elasticsearch 的聚合功能，介绍什么是 Bucket 和 Metric 聚合，以及如何实现嵌套的聚合。 首先来看下聚合（Aggregation）： 什么是 Aggregation？ 首先举一个生活中的例子，这个是京东的搜索界面，在搜索框中输入“华为”进行搜索，就会得到如上界面，搜索框就是我们常用的搜索功能，而下面这些，比如分类、热点、操作系统、CPU 类型等是根...
Elasticsearch时间序列数据聚合
不见其长，日有所长
08-12 1833
0. 前言 本章翻译自Elasticsearch官方指南的Looking at Time一章。 1. 时间数据处理(Looking at Time) 如果在ES中，搜索是最常见的行为，那么创建日期柱状图(Date Histogram)肯定是第二常见的。为什么要使用日期柱状图呢？ 想象在你的数据中有一个时间戳。数据是什么不重要-Apache日志事件，股票交易日期，棒球比赛时间-任何拥有时间戳的数据都能通过日期柱状图受益。当你有时间戳时，你经常会想创建基于时间的指标信息： 今年的每个月销售了多少辆车？ 过
elasticsearch聚合查询
qq_35957398的博客
02-09 686
sum求和 GET lib4/items/_search {   "size": 0,   //只查看price_of_sum的值   "aggs": {     "price_of_sum": {       "sum": {         "field": "price"       }     }   } } min求最小值 GET /lib4/items/_search {
ElasticSearch date_histogram按时间聚合统计
wanson2015的博客
05-15 1万+
按时间统计 如果搜索是在 Elasticsearch 中使用频率最高的，那么构建按时间统计的 date_histogram 紧随其后。 为什么你会想用 date_histogram 呢？ 假设你的数据带时间戳。 无论是什么数据（Apache 事件日志、股票买卖交易时间、棒球运动时间）只要带有时间戳都可以进行 date_histogram 分析。当你的数据有时间戳，你总是想在 时间 维度上构建指...
《再也不怕elasticsearch》es聚合使用与原理剖析
迷途的博客
06-13 5262
还不会es的复杂查询？点进来！
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询过程解析 Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、...
elasticsearch聚合后分页
12-16
方法如果传总页数了，es就不用查询总页数，直接通过开始位置到结束位置取数即可
最简单解决Fielddata is disabled on text fields by default. Set fielddata=true on [client] in order to loa
LM813381916的博客
03-31 3520
在用es查询的时候，有时候在按照 字符 格式进行聚合的时候，会报错： Fielddata is disabled on text fields by default. Set fielddata=true on [client] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use
es 时间字段聚合_es Elasticsearch 时间分组聚合查询
weixin_34898216的博客
12-29 4526
正常业务逻辑中，会出现大量的数据统计，比如说分组聚合查询，根据天进行数据的统计，记录下es分组聚合查询{"size": 0,"aggs": {"groupDate": {"date_histogram": {"field": "create_date","interval": "day","format": "yyyy-MM-dd"}}}}此处使用按天分组，可用的时间间隔表达式：year, qua...
Elasticsearch5.X进行聚合操作时提示Fielddata is disabled on text fields by default
何成俭的博客
12-04 3300
Elasticsearch5.X聚合操作异常：Fielddata is disabled on text fields by default. Set fielddata=true on [color] in order to load  fielddata in memory by uninverting the inverted index. Note that this can howev...
Elasticsearch笔记（七）：聚合查询
热门推荐
布道
01-08 4万+
聚合框架有助于根据搜索查询提供聚合数据。聚合查询是数据库中重要的功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。它基于查询条件来对数据进行分桶、计算的方法。有点类似于 SQL 中的 group by 再加一些函数方法的操作。聚合可以嵌套，由此可以组成复杂的操作（Bucketing聚合可以包含sub-aggregation）。 聚合计算的值可以取字段的值，也可是脚本计算的结果。查...
Java使用elasticsearch进行聚合分析时出现错误
渴望变强
03-20 6033
java核心代码如下 SearchResponse searchResponse = client.prepareSearch(Constants.ES_INDEX_COMPANY) .addAggregation(AggregationBuilders.terms("group_by_country").field("country") ...
ES 中 聚合的使用 AggregationBuilders
gavinkelland的博客
04-25 4万+
AggregationBuilders.terms 相当于sql中的group by AggregationBuilders.terms("name").field("id")； 其中 name值自定义，id为需要分组的key ValueCountAggregationBuilder countByFloor = AggregationBuilders.count("count").field(...
Elasticsearch 2.3.2 java客户端操作
love13135816的专栏
06-16 4732
1         JAVA客户端连接 Eclipse测试时候 需要在在main方法的类中右键选择run configurations，在Arguments标签页下的vm arguments输入：-Des.path.home=-Des.path.home即可。比如： -Des.path.home=Eelasticsearch安装目录   1.1   JAR包 Jar可以从elast
elasticsearch java中的聚合使用
02-29
Elasticsearch是一个开源的搜索引擎，它提供了丰富的聚合功能。在Java中使用Elasticsearch进行聚合查询，可以使用Elasticsearch的Java API。聚合查询主要使用AggregationBuilders进行构建。可以用它来创建各种聚合查询，如桶，指标，嵌套聚合等。下面是一个简单的示例代码，用于按颜色分组获取每个卖出数量： ``` private RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://localhost:9200"))); @Test public void jh1() throws IOException { SearchRequest searchRequest = new SearchRequest("tvs"); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.size(0); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); TermsAggregationBuilder termsAggregationBuilder = AggregationBuilders.terms("group_color").field("color"); searchSourceBuilder.aggregation(termsAggregationBuilder); searchRequest.source(searchSourceBuilder); SearchResponse response = client.search(searchRequest,RequestOptions.DEFAULT); Aggregations aggregations = response.getAggregations(); Terms group_color = aggregations.get("group_color"); List<? extends Terms.Bucket> buckets = group_color.getBuckets(); for (Terms.Bucket bucKey : buckets){ System.out.println(bucKey.getKeyAsString() + " == " + bucKey.getDocCount()); } } ``` 在这个示例中，我们首先创建了一个RestHighLevelClient客户端，然后创建了一个SearchRequest和SearchSourceBuilder对象。接下来，我们使用AggregationBuilders创建了一个terms聚合器，用于按颜色对文档进行分组，并将聚合器添加到SearchSourceBuilder对象中。然后，我们使用SearchRequest对象执行查询，并使用response.getAggregations()获取聚合结果。最后，我们对结果进行遍历并打印每个分组的键和文档数量。 --相关问题--:
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值