什么是布隆过滤器(Bloom Filter)
在允许一定的错误率的情况下,用于判断一个元素是否属于一个集合。
bloom fliter是一种空间效率很高的随机数据结构,初始状态时,bloom filter是一个包含m位的位数组(值为0),当有元素写入时,通过k个hash函数将这个元素映到这个位数组中,映射的位置设置为1。当判断一个元素是否存在时,用同样的方式进行映射,当映射的位置在这个位数组的值全部为1时,则认为该元素是存在的。
举例:
假设将x,y,z三个关键信息存入表中,判断w是否存在。
写入数据。x,y,z存入时,通过hash函数获得对应的位向量,写入到位数组中。
查找数据。对w同样进行hash函数获取对应的位向量,判断位数组中对应的位置是否全为1
如果是,则表明w存在表中
如果不是,则表明w不存在表中
Hbase中使用布隆过滤器
布隆过滤是Hbase系统中的高级功能,它能够减少特定访问模式下的查询时间。但是,由于这种模式增加了内存和存储的负担,这个模式被默认为关闭状态。
由于列的数量远远多于行的数量(除非每行只有一列),使用最后一个选项ROWCOL会占用大量的空间。