python模块之pybloom_live 布隆过滤器Bloom Filter

一、简介

布隆过滤器（Bloom Filter）是一种用于快速判断一个元素是否存在于集合中的概率型数据结构。它通过使用位数组和多个哈希函数来实现高效的查找和插入操作。
布隆过滤器的核心思想是利用多个哈希函数将元素映射到位数组中的不同位置。在插入元素时，将元素经过多个哈希函数计算得到的位置置为 1。在查找元素时，同样将元素经过哈希函数计算得到的位置进行检查，如果所有位置都为 1，则说明元素可能存在于集合中；如果任何一个位置为 0，则说明元素一定不存在于集合中。
由于布隆过滤器使用位数组进行存储，所以它具有非常高的存储效率。同时，由于使用多个哈希函数，它能够提供较低的误判率，即在判断元素存在时可能会出现一定的误判。
布隆过滤器适用于需要快速判断一个元素是否存在于大规模集合中的场景，例如网络爬虫中的 URL 去重、缓存系统中的数据判断等。它的优点是占用空间小、查询速度快，但缺点是在判断元素存在时可能会有一定的误判率，并且无法删除已插入的元素。
需要注意的是，布隆过滤器适用于对查询速度要求较高，而对误判率可以容忍的场景。如果对误判率要求非常严格，那么布隆过滤器可能不适合，可以考虑其他数据结构或算法来解决。

二、实现布隆过滤器原理简单示例

import hashlib

class BloomFilter():

    def __init__(self,size,num_hashes):
        #控制集合长度
        self.size = size
        #计算hash次数
        self.num_hashes = num_hashes
        self.bit_array = [0] * size

    def get_hash_value(self,str):
        md5 = hashlib.md5(str.encode()).hexdigest()
        hash_value = int(md5, 16) % self.size
        return hash_value

    def add(self,element):
        for i in range(self.num_hashes):
            hash_value = self.get_hash_value(f'{element}{i}')
            self.bit_array[hash_value] = 1

    def exit(self, element):
        for i in range(self.num_hashes):
            hash_value = self.get_hash_value(f'{element}{i}')
            if self.bit_array[hash_value] == 0:
                return False
        return True

if __name__ == '__main__':
    bloom_filter = BloomFilter(5,2)
    print(bloom_filter.bit_array)
    bloom_filter.add('abc')
    print(bloom_filter.bit_array)
    print(bloom_filter.exit('abc'))

三、安装

pip install pybloom-live

四、过滤器类型

1. 布隆过滤器：BloomFilter
2. 可伸缩布隆过滤器：ScalableBloomFilter，与传统的布隆过滤器不同，可伸缩布隆过滤器允许在运行时动态地调整过滤器的大小，以适应数据量的变化

五、布隆过滤器：from pybloom_live import BloomFilter

1. bloomFilter = BloomFilter(capacity, error_rate=0.001)：创建布隆过滤器对象

• capacity：布隆过滤器的容量，即可以存储的元素数量。这个参数决定了布隆过滤器的位数组的大小。
• error_rate：错误率，即判断一个元素是否存在于布隆过滤器中的概率。较低的错误率会增加位数组的大小，从而增加内存消耗。

2. bloomFilter.add(key, skip_check=False)：向布隆过滤器中添加一个元素。如果成功添加，则返回 True；如果元素可能已经存在，则返回 False。

• key 是要添加的元素。
• skip_check 是一个布尔值，表示是否跳过检查元素是否已经存在于布隆过滤器中的步骤。默认为 False，即会进行检查。

3. bloomFilter.copy()：复制当前过滤器并返回
4. bloomFilter.union(other)：将当前布隆过滤器与另一个布隆过滤器 other 进行并集操作，并返回一个新的布隆过滤器作为结果。
5. bloomFilter.intersection(other)：将当前布隆过滤器与另一个布隆过滤器 other 进行交集操作，并返回一个新的布隆过滤器作为结果。
6. bloomFilter.tofile(f)：将布隆过滤器序列化到文件 f 中。f 可以是一个文件对象或者一个文件名。
7. bloomFilter.fromfile(f, n=-1)：从文件 f 中反序列化布隆过滤器。

• f 可以是一个文件对象或者一个文件名。
• n 是要读取的元素数量，如果为负数（默认值），则读取整个文件。

8. bloomFilter.count：当前布隆过滤器中已经插入的元素数量。
9. bloomFilter.capacity：当前布隆过滤器的总容量，即位数组的总大小。
10. bloomFilter.FILE_FMT：布隆过滤器持久化到文件中的格式。
11. bloomFilter.bitarray：布隆过滤器的位数组，用于存储元素的位标记。
12. bloomFilter.error_rate：布隆过滤器的错误率（假阳性率）。
13. bloomFilter.bits_per_slice：每个哈希函数对应的位数。
14. bloomFilter.hashfn：布隆过滤器使用的哈希函数。
15. bloomFilter.make_hashes：生成哈希函数的方法。
16. bloomFilter.num_bits：位数组的总位数。
17. bloomFilter.num_slices：哈希函数的数量（位数组被划分为的块数）。

六、可伸缩布隆过滤器：from pybloom_live import ScalableBloomFilter

1. scalableBloomFilter = ScalableBloomFilter(initial_capacity=100, error_rate=0.001,mode=LARGE_SET_GROWTH)：创建可伸缩布隆过滤器

• initial_capacity：初始容量，即布隆过滤器的初始大小。这个参数决定了初始位数组的大小。
• error_rate：错误率，即判断一个元素是否存在于布隆过滤器中的概率。较低的错误率会增加位数组的大小，从而增加内存消耗。
• mode：布隆过滤器的扩展模式。可选值为：
  • LARGE_SET_GROWTH：适用于大型数据集，以较低的错误率为代价，支持动态扩展容量。
  • CONSTANT_MEMORY：适用于有限内存场景，以较高的错误率为代价，保持固定的内存占用。

2. scalableBloomFilter.add(key)：将元素 key 添加到可扩展布隆过滤器中。如果成功添加，则返回 True；如果元素可能已经存在，则返回 False。
3. scalableBloomFilter.union(other)：将另一个可扩展布隆过滤器 other 合并到当前布隆过滤器中。合并操作会将 other 中的位数组和统计信息合并到当前布隆过滤器中。
4. scalableBloomFilter.capacity()：返回当前布隆过滤器的总容量。总容量是指所有扩展级别的位数组的总大小。
5. scalableBloomFilter.count()：返回当前布隆过滤器中已添加的元素数量。
6. scalableBloomFilter.tofile(f)：将可扩展布隆过滤器序列化到文件对象 f 中。可以使用该方法将布隆过滤器保存到文件中，以便后续恢复使用。
7. scalableBloomFilter.fromfile(f)：从文件对象 f 中反序列化可扩展布隆过滤器，并返回一个新的布隆过滤器对象。可以使用该方法从文件中加载之前保存的布隆过滤器。
8. scalableBloomFilter.filters：存储布隆过滤器的位数组列表。每个位数组都是一个布隆过滤器的一层。
9. scalableBloomFilter.count：当前布隆过滤器中已经插入的元素数量。
10. scalableBloomFilter.capacity：当前布隆过滤器的总容量，即位数组的总大小。
11. scalableBloomFilter.error_rate：布隆过滤器的错误率。
12. scalableBloomFilter.FILE_FMT：布隆过滤器持久化到文件中的格式。
13. scalableBloomFilter.initial_capacity：初始布隆过滤器的容量。
14. scalableBloomFilter.LARGE_SET_GROWTH：布隆过滤器在容量不足时的扩容策略，用于大型数据集。
15. scalableBloomFilter.ratio：布隆过滤器的缩放因子，用于控制扩容时的容量增长比例。
16. scalableBloomFilter.scale：布隆过滤器的缩放因子，用于控制扩容时的容量增长比例。
17. scalableBloomFilter.SMALL_SET_GROWTH：布隆过滤器在容量不足时的扩容策略，用于小型数据集。

七、案例

from pybloom_live import BloomFilter

# 创建一个 BloomFilter 对象
bloom_filter = BloomFilter(capacity=1000, error_rate=0.1)

# 向布隆过滤器中添加元素
bloom_filter.add('element1')
bloom_filter.add('element2')
bloom_filter.add('element3')

with open('test.txt','wb') as file:
    bloom_filter.tofile(file)

with open('test.txt','rb') as file:
    new_bloom_filter = BloomFilter.fromfile(file)
    print('element1' in new_bloom_filter)