es7.1聚合查询 javaAPI

最新推荐文章于 2023-07-09 18:51:46 发布

squabLi

最新推荐文章于 2023-07-09 18:51:46 发布

阅读量2.7k

点赞数 2

分类专栏： es java API 聚合查询文章标签： es java

本文链接：https://blog.csdn.net/IT_arookie/article/details/108193014

版权

本文详细介绍了如何使用Java API进行Elasticsearch 7.1的聚合查询，包括查询符合条件的数据量、去重数据量、单字段分组以及多字段聚合，通过实例展示了各种聚合操作的结果。

摘要由CSDN通过智能技术生成

es7.1聚合查询 javaAPI（一）

文章目录

es7.1聚合查询 javaAPI（一）

链接: es7.1基本查询 java API.

1. 查询符合条件的数据量

/**
 *  1.查询符合条件的数据量
 *      类似sql如下：
 *      select count(1) from myIndex where src = '1.1.1.1';
 * 
 *      getClient():  获取es查询的连接对象(不做赘述)
 * 		closeClient(): 关闭连接
 */
public long query1(){
   
	long result;
    RestHighLevelClient client = getClient(); 	// 获取连接
    QueryBuilder qBuilder = QueryBuilders.boolQuery().must(QueryBuilders.termQuery("src.keyword", "1.1.1.1"));	//查询条件 可以任意组合
	try{
   
		result = getAllCount(client,qBuilder);	// 查询
	}catch (Exception e){
   
		e.printStackTrace();
 	}finally {
   
		try {
   
			closeClient(client);        		//关闭连接对象
		} catch (IOException e) {
   
			e.printStackTrace();
		}
	}
	return result;
}
/**
 * 查询符合条件的数据量
 *
 * @param client       RestHighLevelClient类型的连接对象
 * @param queryBuilder 查询限制条件          可以为null（为空时查询全部的数据量）
 * @return long
 * @throws IOException 查询数据抛出的异常
 */
private long getAllCount(RestHighLevelClient client, QueryBuilder queryBuilder) throws IOException {
   
    CountRequest countRequest = new CountRequest("myIndex");
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    if (queryBuilder != null) {
   
        searchSourceBuilder.query(queryBuilder);
    }
    countRequest.source(searchSourceBuilder);
    CountResponse countResponse = client.count(countRequest, RequestOptions.DEFAULT);
    return countResponse.getCount();
}

结果展示：
在这里插入图片描述

2. 查询某字段去重后的数据量

/**
 *  2. 查询某字段去重后的数据量
 *      类似sql如下：
 *      select count(distinct src) from myIndex where date between '2020-01-01 00:00:00' and '2020-01-02 00:00:00';
 * 
 *      getClient():  获取es查询的连接对象(不做赘述)
 * 		closeClient(): 关闭连接
 *      Util.date(): 把日期字符串 减八小时 添加 TZ 样式的方法
 * 			2020-01-02 00:00:00  -->  2020-01-01T16:00:00.000Z
 */
public long query2(){
   
    long result;
    RestHighLevelClient client = getClient(); 	// 获取连接
    QueryBuilder qBuilder = QueryBuilders.boolQuery()
                .must(QueryBuilders.rangeQuery(esIndex_time)
                        .from(Util.date("2020-01-01 00:00:00"))
                        .to(Util.date("2020-01-02 00:00:00")));		//查询条件 可以任意组合
	try{
   
		result = getDistinctCount(client,qBuilder,"src.keyword");	// 查询
	}catch (Exception e){
   
		e.printStackTrace();
 	}finally {
   
		try {
   
			closeClient(client);        		//关闭连接对象
		} catch (IOException e) {
   
			e.printStackTrace();
		}
	}
	return result;
}
/**
 * 获取一个字段的去重后的总数据量
 *
 * @param client       RestHighLevelClient类型的连接对象
 * @param queryBuilder 查询限制条件          可以为null
 * @param Field        需要查询去重的字段
 *                     特别注意，如果段为keyword类型，字段后面必需拼接上.keyword
 *                     **   如  msg.keyword   **
 * 优点：性能快，亿级别的记录在1秒内完成
 * 缺点：存在只能保证最大40000条记录内的精确，超过的存在5%的误差，不适合需要精确去重场景
 */
private long getDistinctCount(RestHighLevelClient client, QueryBuilder queryBuilder, String Field) throws IOException {
   
    SearchSourceBuilder sourceBuilder = new SearchSourceBuilder()
        .aggregation(AggregationBuilders.cardinality("distinct_count")