Flink去重第三弹：HyperLogLog去重

最新推荐文章于 2024-07-25 11:52:38 发布

pucheung

最新推荐文章于 2024-07-25 11:52:38 发布

阅读量860

点赞数

分类专栏： Flink

本文链接：https://blog.csdn.net/u013516966/article/details/103839749

版权

本文介绍了Flink中利用HyperLogLog算法进行大数据量去重的方法，探讨了误差值与内存消耗的关系，并提供了结合UDAF实现SQL方式去重的示例。

摘要由CSDN通过智能技术生成

点击箭头处“蓝色字”，关注我们哦！！

HyperLogLog算法也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81%的情况下统计2^64个数据，在这种大数据量情况下能够减少存储空间的消耗，但是前提是允许存在一定的误差。关于HyperLogLog算法原理可以参考这篇文章：https://www.jianshu.com/p/55defda6dcd2里面做了详细的介绍，其算法实现在开源java流式计算库stream-lib提供了其具体实现代码，由于代码比较长就不贴出来(可以后台回复hll ,获取flink使用hll去重的完整代码)。

测试一下其使用效果，准备了97320不同数据：

public static void main(String[] args) throws Exception{

        String filePath = "000000_0";
        BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(filePath)));

        Set<String> values =new HashSet<>();
        HyperLogLog logLog=new HyperLogLog(0.01); //允许误差