基于Redis的分布式布隆过滤器

最新推荐文章于 2024-08-28 01:21:07 发布

布仁

最新推荐文章于 2024-08-28 01:21:07 发布

阅读量1.2w

点赞数 6

文章标签：布隆过滤器 Redis 分布式

本文链接：https://blog.csdn.net/Alex_zmx/article/details/81143842

版权

本文介绍了基于Redis的分布式布隆过滤器实现，利用Redis的BitMap作为底层映射，通过Spring管理Bean，并使用Pipeline优化并发性能。文中提到了布隆过滤器的关键参数选择，以及项目的依赖和配置，但未涉及Redis Key的过期处理，读者可根据业务需求自行实现。

摘要由CSDN通过智能技术生成

布隆算法是一个以牺牲一定的准确率来换取低内存消耗的过滤算法，可以实现大量数据的过滤、去重等操作。

本博客不讨论布隆算法的具体原理，如果想了解的可以查看这篇博客:布隆过滤器(Bloom Filter)详解

为了实现分布式过滤器，在这里使用了Redis，利用Redis的BitMap实现布隆过滤器的底层映射。

布隆过滤器的一个关键点就是如何根据预计插入量和可接受的错误率推导出合适的BIt数组长度和Hash函数个数，当然Hash函数的选取也能影响到过滤器的准确率和性能。为此我参考了Google的guava包中有关布隆过滤器的相关实现。

同时我还利用的Spring实现RedisBean和FilterBean的管理工作。利用Maven实现jar包的管理工作，

首先看下项目需要的jar包，这里面的jar版本大家可以去maven仓库中选择自己需要的版本。我这里的好多jar包版本都是继承了父亲的版本所以有些dependency中没有版本号。

        <!--spring-->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-core</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-beans</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-context</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-context-support</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-aspects</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-webmvc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-aop</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-jdbc</artifactId>
        </dependency>