如果你对去重结果的精准度没有特殊要求,使用cardinality聚合函数
AggregationBuilders.cardinality("deviceCount").field("deviceID").precisionThreshold(自定义一个精度范围100-40000)
优点:性能快,亿级别的记录在1秒内完成
缺点:存在只能保证最大40000条记录内的精确,超过的存在5%的误差,不适合需要精确去重场景
如果你对去重结果要求精确,使用termsagg聚合(类似group by)
AggregationBuilders.terms("deviceCount").field("deviceID").size(Integer.MAX_VALUE);
说明:默认只聚合10个桶,size(Integer.MAX_VALUE)可以指定桶个数
优点:结果精确
缺点:只适合聚合少量桶场景(100以内),否则性能极差(十万级的桶需要分钟级完成)
针对海量数据去重(多桶)场景,方法尝试:
scroll查询全量数据后手动去重
缺点:性能不达标
pass...