ES 聚合后再分页 (group by后limit)

使用ES 的 Bucket sort aggregation 来实现。

功能

ES实现聚合后再分页，类似 sql的 group by后分页效果。

ES要实现多个字段的分组聚合(group by)，然后再进行分页，还是比较麻烦的(可以试试万能的script )。

1、DSL语句

GET my_order/_search
{
  "size": 0,
  "aggs": {
    "sales_per_day": {
      "date_histogram": {
        "field": "create_time",
        "interval": "day",
        "format": "yyyy-MM-dd"
      },
      "aggs": {
        "total_sales": {
          "sum": {
            "field": "amount"
          }
        },
        "sales_bucket_sort": {
          "bucket_sort": {
              "sort": [
                {"total_sales": {"order": "desc"}} 
              ],
              "from": 0,
              "size": 10
          }
        }
      }
    }
  }
 

分析：

• 第一个 aggs

        表示按 create_time 进行按天分组,并将结果进行日期格式化

• 第二个 aggs

        对结果进行排序,分页。

这样就可以实现对聚合的结果进行分页了。

下面介绍下Java相关的API使用。

2、Java API

这里使用的是 RestHighLevelClient 客户端

public static void testAggPage()  throws Exception {

        SearchRequest searchRequest = new SearchRequest("my_order");

        DateHistogramInterval interval =  DateHistogramInterval.days(1);

        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

        AggregationBuilder aggregation = AggregationBuilders.dateHistogram("sales_per_day") // 第一级聚合
                .field("create_time")
                .dateHistogramInterval(interval)
                .format("yyyy-MM-dd");
        aggregation.subAggregation(AggregationBuilders.sum("total_sales") // 第二级聚合
                .field("amount"));

        aggregation.subAggregation(new  BucketSortPipelineAggregationBuilder("sales_bucket_sort", Arrays.asList(
                new FieldSortBuilder("total_sales").order(SortOrder.ASC)))
                .from(0) //分页从0开始
                .size(10));

        //不需要输出原始数据，只输出聚合结果
        searchSourceBuilder.size(0);
        searchSourceBuilder.aggregation(aggregation);
        searchRequest.source(searchSourceBuilder);

        SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
        

        //获取聚合结果
        Aggregations aggregations = searchResponse.getAggregations();

        Histogram histogram = aggregations.get("sales_per_day");
        List<? extends Histogram.Bucket> buckets = histogram.getBuckets();
        for (Histogram.Bucket bucket : buckets) {
            //子聚合
            Sum sales =  bucket.getAggregations().get("total_sales");
            System.out.println("日期:"+bucket.getKeyAsString() + "的订单数："+bucket.getDocCount()+" 对应总金额："+sales.getValue());
        }
    }