最近在使用ElasticSearch来查询我们的一些实时数据,中间也遇到不少的问题,今天在此简单总结记录一下。es的功能的确十分强大,大部分数据库能实现的需求,基本在es里面都能实现,当然两者都有一些特殊的功能,是双方不能实现或者不容易实现的。
案例一:
es单个字段分组后,分页是个小坑,因为分组结果里面,只提供了size来限制返回,并没有类似offset和limit的参数来支持分页,所以这个地方,一般提供的是top N的分组数据,如果想分页,只能自己在内存中实现。
案例二:
如下面的sql:
在es多个字段分组后,排序都是组内有序,而不是整体数据有序,如果想实现整体数据有序,有两种解决办法可以解决:
方法一:
使用agg-script,使用script来实现聚合,这样唯一的缺点就是大数据量下,耗时比较高。
方法二:
使用copy字段,将多维字段,提供合并成一个字段,这样分组时候就可以直接使用这个字段进行分组,效率较高,但灵活性比较低,如果要是有7,8个字段都需要两两组合分组,那么索引里面的冗余字段就会多出好多个,索引体积的增大也会影响检索和聚合性能。
当然上面的分组能处理,但是分页问题依然和案例一是一样的情况,所有的分组都有这个问题。
案例三:
如下面的sql:
上面这个sql,是分组某个字段后,对其中几个指标进行sum,完事之后,在外层又要取到sum后的某个指标的最大值,这个问题在1.x的es中是不能解决的,但是在2.x之后,es提供了管道聚合,其功能更加强大,类似实现数据里面的多个子查询的功能。
下面我们看看如何使用es来完成上面的这个功能:
java代码如下:
curl如下:
总结:从上面的几个案例看,es在分组时候的需要考虑的问题要多点,但也大部分都能使用scrpit方式解决,但分组的分页问题,确实不太好弄,这个地方基本上都是看topN的数据比较方便,如果非要看所有的数据,而且必须分页,那只能在内存总实现了,所以建议这个地方需要慎重考虑。
[b][color=green][size=large] 有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。 技术债不能欠,健康债更不能欠, 求道之路,与君同行。 [/size][/color][/b] [img]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg[/img]
案例一:
es单个字段分组后,分页是个小坑,因为分组结果里面,只提供了size来限制返回,并没有类似offset和limit的参数来支持分页,所以这个地方,一般提供的是top N的分组数据,如果想分页,只能自己在内存中实现。
案例二:
如下面的sql:
select a, b , count(*) as c form t1 group a, b order by c desc
在es多个字段分组后,排序都是组内有序,而不是整体数据有序,如果想实现整体数据有序,有两种解决办法可以解决:
方法一:
使用agg-script,使用script来实现聚合,这样唯一的缺点就是大数据量下,耗时比较高。
//多字段分组
TermsBuilder one = AggregationBuilders.terms("one").script(new Script("doc['stid'].value +'#' + doc['qid'].value"));
方法二:
使用copy字段,将多维字段,提供合并成一个字段,这样分组时候就可以直接使用这个字段进行分组,效率较高,但灵活性比较低,如果要是有7,8个字段都需要两两组合分组,那么索引里面的冗余字段就会多出好多个,索引体积的增大也会影响检索和聚合性能。
{
"mappings": {
"test": {
"properties": {
"f": {
"type": "string",
"index": "not_analyzed",
"copy_to": "f_and_g"
},
"g": {
"type": "string",
"index": "not_analyzed",
"copy_to": "f_and_g"
},
"f_and_g": {
"type": "string",
"index": "not_analyzed"
}
}
}
}
}
当然上面的分组能处理,但是分页问题依然和案例一是一样的情况,所有的分组都有这个问题。
案例三:
如下面的sql:
select max(tt.su1),max(tt.su2)
FROM
(
select name ,sum(c1) as su1 ,sum(c2) as su2 from tp group by name
) as tt
上面这个sql,是分组某个字段后,对其中几个指标进行sum,完事之后,在外层又要取到sum后的某个指标的最大值,这个问题在1.x的es中是不能解决的,但是在2.x之后,es提供了管道聚合,其功能更加强大,类似实现数据里面的多个子查询的功能。
下面我们看看如何使用es来完成上面的这个功能:
java代码如下:
//构建查询请求体
SearchRequestBuilder search = client.prepareSearch("spark").setTypes("spark");
//分组字段是id,排序由多个字段排序组成
TermsBuilder tb= AggregationBuilders.terms("name").field("name");
//添加两个sum指标
tb.subAggregation(AggregationBuilders.sum("c1").field("c1"));
tb.subAggregation(AggregationBuilders.sum("c2").field("c2"));
//添加管道聚合获取max值
MaxBucketBuilder maxx= PipelineAggregatorBuilders.maxBucket("max").setBucketsPaths("name>c1");
MaxBucketBuilder maxx2= PipelineAggregatorBuilders.maxBucket("max2").setBucketsPaths("name>c2");
//封装聚合实体
search.addAggregation(maxx);
search.addAggregation(maxx2);
search.addAggregation(tb);
//获取指标里面的最大值
InternalBucketMetricValue imb=search.get().getAggregations().get("max") ;
InternalBucketMetricValue imb2=search.get().getAggregations().get("max2") ;
//输出值的结果
System.out.println(imb.value());
System.out.println(imb2.value());
client.close();
curl如下:
{
"aggregations" : {
"max" : {
"max_bucket" : {
"buckets_path" : [ "name>c1" ]
}
},
"max2" : {
"max_bucket" : {
"buckets_path" : [ "name>c2" ]
}
},
"name" : {
"terms" : {
"field" : "name"
},
"aggregations" : {
"c1" : {
"sum" : {
"field" : "c1"
}
},
"c2" : {
"sum" : {
"field" : "c2"
}
}
}
}
}
}
总结:从上面的几个案例看,es在分组时候的需要考虑的问题要多点,但也大部分都能使用scrpit方式解决,但分组的分页问题,确实不太好弄,这个地方基本上都是看topN的数据比较方便,如果非要看所有的数据,而且必须分页,那只能在内存总实现了,所以建议这个地方需要慎重考虑。
[b][color=green][size=large] 有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。 技术债不能欠,健康债更不能欠, 求道之路,与君同行。 [/size][/color][/b] [img]http://dl2.iteye.com/upload/attachment/0104/9948/3214000f-5633-3c17-a3d7-83ebda9aebff.jpg[/img]