Bloomier filter简介

  bloom filter作为一种近似的集合成员查询结构，最早由1970的论文 “Space/time trade-offs in hash coding with allowable errors” 提出，其动机在于用紧凑的空间简洁地表示一个集合，同时有较高的查询效率，代价则是有一定的误报率。随着大数据时代的来临，海量数据对存储空间提出了更高的要求，在存储资源非常珍贵并且可容忍一定假阳性率的场合，bloom filter这一简洁高效的数据结构大放异彩，被广泛地应用于网络路由、数据库、存储系统、流数据处理等领域中。针对于不同的特性和应用场景，bloom filter有高达几十种变体，同时催生了cuckoo filter、quotient filter等同类型的数据结构。本文旨在介绍bloom filter的其中一种变体bloomier filter。

1. 基本原理

  bloom filter旨在回答 [某一个元素是否存在]，至于元素本身是什么它并不知道。而bloomier filter的动机则是存储一个函数值，即（key，value）中的value，目的是给定一个key，从bloomier filter中可以快速查找到它对应的value值，当然也存在一定的false positive。它确保了无冲突哈希（每一个哈希位置只会对应一个value）和常数时间的查询开销。实际上，bloomier filter是传统哈希表的一种改进：传统哈希表在存储value时，存在一定的冲突率，虽然可以用链式结构来存储冲突元素的value，如图1，但这增加了查询开销；而bloomier filter实际上是寻求构建一种perfect hashing方案，使得每一个位置最多只会存储一个value，并通过hash(