es7.1聚合查询 javaAPI(一)
链接: es7.1基本查询 java API.
1. 查询符合条件的数据量
/**
* 1.查询符合条件的数据量
* 类似sql如下:
* select count(1) from myIndex where src = '1.1.1.1';
*
* getClient(): 获取es查询的连接对象(不做赘述)
* closeClient(): 关闭连接
*/
public long query1(){
long result;
RestHighLevelClient client = getClient(); // 获取连接
QueryBuilder qBuilder = QueryBuilders.boolQuery().must(QueryBuilders.termQuery("src.keyword", "1.1.1.1")); //查询条件 可以任意组合
try{
result = getAllCount(client,qBuilder); // 查询
}catch (Exception e){
e.printStackTrace();
}finally {
try {
closeClient(client); //关闭连接对象
} catch (IOException e) {
e.printStackTrace();
}
}
return result;
}
/**
* 查询符合条件的数据量
*
* @param client RestHighLevelClient类型的连接对象
* @param queryBuilder 查询限制条件 可以为null(为空时查询全部的数据量)
* @return long
* @throws IOException 查询数据抛出的异常
*/
private long getAllCount(RestHighLevelClient client, QueryBuilder queryBuilder) throws IOException {
CountRequest countRequest = new CountRequest("myIndex");
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
if (queryBuilder != null) {
searchSourceBuilder.query(queryBuilder);
}
countRequest.source(searchSourceBuilder);
CountResponse countResponse = client.count(countRequest, RequestOptions.DEFAULT);
return countResponse.getCount();
}
结果展示:
2. 查询某字段去重后的数据量
/**
* 2. 查询某字段去重后的数据量
* 类似sql如下:
* select count(distinct src) from myIndex where date between '2020-01-01 00:00:00' and '2020-01-02 00:00:00';
*
* getClient(): 获取es查询的连接对象(不做赘述)
* closeClient(): 关闭连接
* Util.date(): 把日期字符串 减八小时 添加 TZ 样式的方法
* 2020-01-02 00:00:00 --> 2020-01-01T16:00:00.000Z
*/
public long query2(){
long result;
RestHighLevelClient client = getClient(); // 获取连接
QueryBuilder qBuilder = QueryBuilders.boolQuery()
.must(QueryBuilders.rangeQuery(esIndex_time)
.from(Util.date("2020-01-01 00:00:00"))
.to(Util.date("2020-01-02 00:00:00"))); //查询条件 可以任意组合
try{
result = getDistinctCount(client,qBuilder,"src.keyword"); // 查询
}catch (Exception e){
e.printStackTrace();
}finally {
try {
closeClient(client); //关闭连接对象
} catch (IOException e) {
e.printStackTrace();
}
}
return result;
}
/**
* 获取一个字段的去重后的总数据量
*
* @param client RestHighLevelClient类型的连接对象
* @param queryBuilder 查询限制条件 可以为null
* @param Field 需要查询去重的字段
* 特别注意,如果段为keyword类型,字段后面必需拼接上.keyword
* ** 如 msg.keyword **
* 优点:性能快,亿级别的记录在1秒内完成
* 缺点:存在只能保证最大40000条记录内的精确,超过的存在5%的误差,不适合需要精确去重场景
*/
private long getDistinctCount(RestHighLevelClient client, QueryBuilder queryBuilder, String Field) throws IOException {
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder()
.aggregation(AggregationBuilders.cardinality("distinct_count")