使用Java手动实现布隆过滤器

最新推荐文章于 2024-09-04 14:35:30 发布

遮半面涟漪

最新推荐文章于 2024-09-04 14:35:30 发布

阅读量305

点赞数 3

分类专栏： MySQL and Redis Java基础文章标签：过滤器 filter hash java

原文链接：https://snailclimb.gitee.io/javaguide/#/docs/dataStructures-algorithms/data-structure/bloom-filter?id=_1%e4%bb%80%e4%b9%88%e6%98%af%e5%b8%83%e9%9a%86%e8%bf%87%e6%bb%a4%e5%99%a8%ef%bc%9f

版权

Java基础同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

MySQL and Redis

1 篇文章 0 订阅

订阅专栏

使用Java手动实现布隆过滤器

（1）定义：布隆过滤器是一种来检索元素是否在给定大集合中的数据结构，这种数据结构优点是高效性能好，缺点是一定的错误识别率和删除难度。理论情况下，添加到集合中的元素越多，误报的可能性就越大。
（2）原理：布隆过滤器说某个元素存在，小概率会误判。布隆过滤器说某个元素不在，那么这个元素一定不在。
（3）使用场景：判断元素存在于一个非常庞大的数据集中、防止缓存穿透、垃圾邮箱过滤、黑名单、爬虫URL去重等。
以上描述源自 JavaGuide.
手动实现如下：

import java.util.BitSet;
import java.util.Objects;

/**
 * 手动实现一个布隆过滤器，我们需要：
 * 1. 一个大小合适的位数组保存数据
 * 2. 几个不同的哈希函数
 * 3. 添加元素到位数组（布隆过滤器）的方法实现
 * 4. 判断给定元素是否存在于位数组（布隆过滤器）的方法实现
 *
 * @author roger
 * @create 2021-06-28 15:12
 */
public class MyBloomFilter {
    /*
    * 位数组的大小
    * */
    public static final int DEFAULT_SIZE = 2 << 24;
    /*
    * 通过这个数组可以创建6个不同的哈希函数
    * */
    public static final int[] SEEDS = new int[] {3, 13, 46, 71, 91, 134};
    /*
    * 位数组，数组中的元素只能是0或者1
    * */
    private BitSet bits = new BitSet(DEFAULT_SIZE);
    /*
    * 存放包含hash函数的类的数组
    * */
    private SimpleHash[] func = new SimpleHash[SEEDS.length];
    /*
    * 初始化多个包含hash函数的类的数组，每个类中的hash函数都不一样
    * */
    public MyBloomFilter() {
        // 初始化多个不同的Hash函数
        for (int i = 0; i < SEEDS.length; i++) {
            func[i] = new SimpleHash(DEFAULT_SIZE, SEEDS[i]);
        }
    }
    /*
    * 添加元素到位数组
    * */
    public void add(Object value) {
        for (SimpleHash f : func) {
            bits.set(f.hash(value), true);
        }
    }
    /*
    * 判断指定元素是否存在于为位数组
    * */
    public boolean contains(Object value) {
        boolean ret = true;
        for (SimpleHash f : func) {
            ret = ret && bits.get(f.hash(value));
        }
        return ret;
    }

    /*
    * 静态内部类，用于hash操作！*/
    public static class SimpleHash {
        private int cap;
        private int seed;

        public SimpleHash(int cap, int seed) {
            this.cap = cap;
            this.seed = seed;
        }

        /*
        * 计算hash值
        * */
        public int hash(Object value) {
            int h;
            return (value == null) ? 0 : Math.abs(seed * (cap - 1) & ((h = value.hashCode()) ^ (h >>> 16)));
        }
    }

    public static void main(String[] args) {
//        String value1 = "https://javaguide.cn/";
//        String value2 = "https://github.com/Snailclimb";
//        MyBloomFilter filter = new MyBloomFilter();
//        System.out.println(filter.contains(value1));
//        System.out.println(filter.contains(value2));
//        filter.add(value1);
//        filter.add(value2);
//        System.out.println(filter.contains(value1));
//        System.out.println(filter.contains(value2));
        Integer value1 = 13423;
        Integer value2 = 13423;
        MyBloomFilter filter = new MyBloomFilter();
        System.out.println(filter.contains(value1));
        System.out.println(filter.contains(value2));
        filter.add(value1);
        filter.add(value2);
        System.out.println(filter.contains(value1));
        System.out.println(filter.contains(value2));

    }
}