bloom filter作为一种近似的集合成员查询结构,最早由1970的论文 “Space/time trade-offs in hash coding with allowable errors” 提出,其动机在于用紧凑的空间简洁地表示一个集合,同时有较高的查询效率,代价则是有一定的误报率。随着大数据时代的来临,海量数据对存储空间提出了更高的要求,在存储资源非常珍贵并且可容忍一定假阳性率的场合,bloom filter这一简洁高效的数据结构大放异彩,被广泛地应用于网络路由、数据库、存储系统、流数据处理等领域中。针对于不同的特性和应用场景,bloom filter有高达几十种变体,同时催生了cuckoo filter、quotient filter等同类型的数据结构。本文旨在介绍bloom filter的其中一种变体bloomier filter。
1. 基本原理
bloom filter旨在回答 [某一个元素是否存在],至于元素本身是什么它并不知道。而bloomier filter的动机则是存储一个函数值,即(key,value)中的value,目的是给定一个key,从bloomier filter中可以快速查找到它对应的value值,当然也存在一定的false positive。它确保了无冲突哈希(每一个哈希位置只会对应一个value)和常数时间的查询开销。实际上,bloomier filter是传统哈希表的一种改进:传统哈希表在存储value时,存在一定的冲突率,虽然可以用链式结构来存储冲突元素的value,如图1,但这增加了查询开销;而bloomier filter实际上是寻求构建一种perfect hashing方案,使得每一个位置最多只会存储一个value,并通过hash(