Java redis 模拟布隆过滤器

基本概念

如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit Array）中的一个点。这样一来，我们只要看看这个点是不是 1 就知道可以集合中有没有它了。这就是布隆过滤器的基本思想。

Hash面临的问题就是冲突。假设 Hash 函数是良好的，如果我们的位阵列长度为 m 个点，那么如果我们想将冲突率降低到例如 1%, 这个散列表就只能容纳 m/100 个元素。显然这就不叫空间有效了（Space-efficient）。解决方法也简单，就是使用多个 Hash，如果它们有一个说元素不在集合中，那肯定就不在。如果它们都说在，虽然也有一定可能性它们在说谎，不过直觉上判断这种事情的概率是比较低的。

优点

相比于其它的数据结构，布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间都是常数。另外, Hash 函数相互之间没有关系，方便由硬件并行实现。布隆过滤器不需要存储元素本身，在某些对保密要求非常严格的场合有优势。

布隆过滤器可以表示全集，其它任何数据结构都不能；

k 和 m 相同，使用同一组 Hash 函数的两个布隆过滤器的交并差运算可以使用位操作进行。

缺点

但是布隆过滤器的缺点和优点一样明显。误算率（False Positive）是其中之一。随着存入的元素数量增加，误算率随之增加。但是如果元素数量太少，则使用散列表足矣。

另外，一般情况下不能从布隆过滤器中删除元素. 我们很容易想到把位列阵变成整数数组，每插入一个元素相应的计数器加1, 这样删除元素时将计数器减掉就可以了。然而要保证安全的删除元素并非如此简单。首先我们必须保证删除的元素的确在布隆过滤器里面. 这一点单凭这个过滤器是无法保证的。另外计数器回绕也会造成问题。

 

redis对bitmaps的解释：

http://www.redis.cn/topics/data-types-intro.html#bitmaps

 

翻译后的中文如下：

Bitmap不是一个确切的数据类型，而是基于String类型定义的一系列面向位操作的方法。因为String是二进制安全的并且它们的最大长度是512MB，

所以String类型很合适去作为一个2^32长度的位数组。

位操作方法可以被分为两组：一、对单一位的操作，比如设置某一位为1或0，或者得到这一位的值；二、对一组位的操作，比方说计算一定范围内的1的个数（比如计数）

bitmap一个最大的优势是它通常能在存储信息的时候节省大量空间。比方说一个用增量ID来辨别用户的系统，可以用仅仅512MB的空间来标识40亿个用户是否想要接受通知。

使用SETBIT和GETBIT命令来对位进行置数和检索：

> setbit key 10 1

(integer) 1

> getbit key 10

(integer) 1

> getbit key 11

(integer) 0

---------------------

 

public class BloomFilter {

public static double size = Math.pow(2,32);

//第一次加载的时候将数据加载到redis中

public static void saveDataToRedis(Jedis jedis){

List<String> baseList = new ArrayList<>();

baseList.add("000");

baseList.add("111");

baseList.add("222");

for (int i = 0; i < baseList.size(); i++) {

long index = Math.abs((long)(baseList.get(i).hashCode()%size));

jedis.setbit("orderId",index,true);

}

}

 

//判断传入的数据是否在redis中

public static boolean checkEleIsContainBloomFilter(String target,Jedis jedis){

long index = Math.abs((long)(target.hashCode()%size));

System.out.println("index: " + index + " size: " + size);

boolean checkResult = jedis.getbit("orderId",index);

return checkResult;

}

 

public static void main(String[] args) {

//获取redis链接

Jedis jedis = RedisUtils.getJedis();

//第一次运行的时候调用，只运行一次

saveDataToRedis(jedis);

//获取比较后的值

System.out.println(checkEleIsContainBloomFilter("000",jedis));

//释放redis链接

RedisUtils.closeJedis(jedis);

}

 

代码运行结果：

 

参考：https://blog.csdn.net/u013278314/article/details/83027781

参考：https://www.cnblogs.com/liyulong1982/p/6013002.html