构建更好的 Bloom Filter——布隆过滤器优化算法double—hashing论文翻译（三）

引言

本论文来自leveldb源码中bloom.cc下布隆过滤器实现的代码注释中推荐的论文。论证了一种布隆过滤器的优化方式，带有详细的证明。是不可多得的好文章。其中的许多公式会对布隆过滤器相关的文章有所帮助。**所以博主将论文和其中的海量公式转化为了可编辑的markdown和Latex，并在机翻的基础上，通读论文并对翻译的不足进行修改和润色。**方便大家引用。如有转载，望注明论文出处和本文出处，谢谢！

论文原文出处：论文原文

本文作者：csdn账号，个人空间 - AcWing

受平台字数限制，只好将论文分成多段，望理解

7. 多个查询

在前面的部分中,我们分析了 $\mathbf{Pr}(\mathcal{F}(z))$ 对于一些固定 Z 和中等大小的 TI 的行为。遗憾的是,在大多数应用中,这个量并不直接相关。相反,人们通常关心 $\mathcal{F}(z)$ 出现的 $z_1,\dots ,z_{\ell }\in U-S$ 的数量分布的某些特征。换句话说,我们关心的不是特定误报发生的概率,而是关心,例如,对 $U-S$ 元素的不同查询对过滤器的不同查询的比例,它返回假阳性。由于 { F ( z ) : z ∈ U − S } \{\mathcal{F}(z):z\in U-S\} {F(z):z∈U−S} 不是独立的,因此 $\mathbf{Pr}(\mathcal{F})$ 的行为本身并不直接意味着这种形式的结果。本节致力于克服这个困难 现在,很容易看出,在我们在这里分析的 schemes 中,一旦每个

$x\in S$ 已经确定,事件 { F ( z ) : z ∈ U − S } \{\mathcal{F}(z):z\in U-S\} {F(z):z∈U−S} 是独立的,并且以相等的概率发生。更正式地说,让 $1(\cdot )$ 表示指示函数, { 1 ( F ( z ) ) : z ∈ U − S } \{\mathbf{1}(\mathcal{F}(z)):z\in U-S\} {1(F(z)):z∈U−S} 是条件独立的,并且在给定 { H ( x ) : x ∈ S } \{H(x):x\in S\} {H(x):x∈S} 的情况下分布相同。因此,以 { H ( x ) : x ∈ S } \{H(x):x\in S\} {H(x):x∈S} 为条件,大量的经典收敛结果(例如大数定律和中心极限定理)可以应用于 { 1 ( F ( z ) ) : z ∈ U − S } \{1(\mathcal{F}(z)):z\in U-S\} {1(F(z)):z∈U−S}这些观察激发了一种推导出收敛结果的通用技术

对于人们在实践中可能想要的 { 1 ( F ( z ) ) : z ∈ U − S } \{\mathbf{1}(\mathcal{F}(z)):z\in U-S\} {1(F(z)):z∈U−S}。首先,我们表明,在 S 元素(即 { H ( x ) :   x ∈ S } \{H(x):\:x\in S\} {H(x):x∈S})使用的哈希位置集上,随机变量 { 1 ( F ( z ) ) : z ∈ U − S } \{\mathbf{1}(\mathcal{F}(z)):z\in U-S\} {1(F(z)):z∈U−S} 本质上是独立的伯努利试验,成功概率为 ${\lim }_{n\to \infty }$Pr$(\mathcal{F})$ 。从技术角度来看,此结果是本节中最重要的。接下来,我们展示如何使用该结果来证明上述经典收敛定理的对应物,这些定理在我们的设置中成立正式进行,我们从关键定义开始。

定义 7.1.考虑任何 { H ( u ) : u ∈ U } \{H(u):u\in U\} {H(u):u∈U} 是独立且同分布的方案。写入 S = { x 1 , … , x n } S=\{x_{1},\ldots,x_{n}\} S={x1​,…,xn​} .假阳性率定义为随机变量
$$R=\mathbf{Pr}(\mathcal{F}\mid H(x_1),\dots ,H(x_n)).$$

---

假阳性率得名于以下事实:以 $R$ 为条件,随机变量 { 1 ( F ( z ) ) : z ∈ U − S } \{\mathbf{1}(\mathcal{F}(z)):z\in U-S\} {1(F(z)):z∈U−S} 是具有共同成功概率的独立伯努利试验。$R$ .因此,对 $U-S$ 元素的大量查询对过滤器的查询返回误报的分数很可能接近 $R $ 。从这个意义上说,$R$ 虽然是一个随机变量,但其作用类似于 { 1 ( F ( z ) ) \{ \mathbf{1} ( \mathcal{F} ( z) ) {1(F(z)) : $z\in U-S\}$ 的速率 重要的是要注意,在许多关于标准 Bloom 滤波器的文献中,假

阳性率的定义并非如上。相反,该术语通常用作假阳性概率的同义词。事实上,对于标准的布隆滤波器,我们定义的两个概念之间的区别在实践中并不重要,因为如第 2 节所述,可以很容易地证明 $R.$ 非常接近 $\mathrm{Pr}(\mathcal{F})$,概率极高(例如,参见 [11])。事实证明,这个结果非常自然地推广到本文提出的框架,因此即使在我们非常一般的环境中,这两个概念之间的实际差异在很大程度上也并不重要。但是,证明比标准 Bloom 过滤器的情况更复杂,因此我们将非常小心地使用我们定义的术语。

定理 7.1.考虑一个引理 4.1 的条件成立的方案。此外,假设存在一些函数 $y$ 和独立的同分布随机变量。 { V u : u ∈ U } \{V_{u}:u\in U\} {Vu​:u∈U} ,使得 $V_u$ 在 $\mathrm{Supp}(V_u)$ 上是均匀的,而对于 $u\in U$ ,我们有 $H(u)=g(V_u)$定义

$$\begin{array}{rl}& p\stackrel{def}{=}{\left(1-{\mathrm{e}}^{-\lambda /k}\right)}^k\\ & \Delta \stackrel{def}{=}\underset{i\in H}{\max }\mathbf{Pr}(i\in H(u))-\frac{\lambda }{nk}(=o(1/n))\\ & \xi \stackrel{def}{=}nk\Delta (2\lambda +k\Delta )(=o(1))\end{array}$$

然后对于任何 $ϵ=ϵ(n)>0$ 和 $ϵ=\omega (|\mathbf{Pr}(\mathcal{F})-p|)$ ,for n 足够大,使得 $ϵ>|\mathrm{Pr}(\mathcal{F})-p|$

$$\mathbf{Pr}(|R-p|>ϵ)\le 2\exp \left[\frac{-2n(ϵ-|\mathbf{Pr}(\mathcal{F})-p|{)}^2}{{\lambda }^2+\xi }\right].$$

此外,对于任何功能。$h(n)$ = $o(\min (1/|\mathbf{Pr}(\mathcal{F})$ $-p|,\sqrt{n}))$ ,我们有 $(R-p)h(n)$ 收敛到 0 的概率为 $Tl\to \mathbf{x}$

备注。由于引理 4.1 的 $\left|\mathbf{Pr}(\mathcal{F})-p\right|=o(1)$,我们可以在定理 7.1 中采用 $h(n)=1$ 来得出结论,$R$ 收敛到 $P$ 的概率为 $Tl\to \infty$

从定理 5.1 和 5.2 的证明中,很容易看出,对于分区和(扩展的)双重哈希方案,$\Delta =0$ SO $\xi =0$ 对于这两个方案也是如此

备注。我们在 $H(u)$ 的分布上添加了一个新条件,但它在本文中讨论的所有方案中都微不足道(因为,对于独立的完全随机哈希函数 $h_1$ 和 $h_2$ ,随机变量 $\{(h_1(u),h_2(u)):$ $u\in U\}$ 是独立的并且是同分布的, 和 $(h_1(u),h_2(u))$ 均匀分布在其支持上)。

证明。该证明本质上是将 Azuma 不等式的标准应用于适当定义的 Doob 马丁格尔。具体来说,我们采用 [12, Section 12.5] 中讨论的技术为方便起见,写 S = { x 1 , … , x n } S=\{x_{1},\ldots,x_{n}\} S={x1​,…,xn​} 。对于 $h_1,\dots ,h_n\in$Supp$(H(u))$ ,定义

$$f(h_1,\dots ,h_n)\stackrel{\mathrm{def}}{=}\mathbf{Pr}(\mathcal{F}\mid H(x_1)=h_1,\dots ,H(x_n)=h_n),$$

并注意 $R=f(H(x_1),\dots ,H(x_n))$ 。现在考虑一些 $C$,使得对于任何$h_1,\dots ,h_j$ , $h_j^{\prime }$ $h_{j+1},\dots ,h_n\in$Supp$(H(u))$

$$|f(h_1,\dots ,h_n)-f(h_1,\dots ,h_{j-1},h_j^{\prime },h_{j+1},\dots ,h_n)|\le c.$$

由于 $H(x_i)$ 是独立的,我们可以应用 [12, Section 12.5] 的结果来获得

$$\mathbf{Pr}(|R-\mathbf{E}[R]|\ge \delta )\le 2{\mathrm{e}}^{-2{\delta }^2/n{c}^2},$$

对于任何 $\delta >0$

要找到 $t$ wewrite 的小选择

∣ f ( h 1 , … , h n ) − f ( h 1 , … , h j − 1 , h j ′ , h j + 1 , … , h n ) ∣ = ∣ Pr ⁡ ( F ∣ H ( x 1 ) = h 1 , … , H ( x n ) = h n ) − Pr ⁡ ( F ∣ H ( x 1 ) = h 1 , … , H ( x j − 1 ) = h j − 1 , H ( x j ) = h j ′ , H ( x j + 1 ) = h j + 1 , … H ( x n ) = ∣ ∣ { v ∈ S u p p ( V u ) : g ( v ) ⊆ ⋃ i = 1 n h i } ∣ − ∣ { v ∈ S u p p ( V u ) : g ( v ) ⊆ ⋃ i = 1 n { h j ′ i = j h i i ≠ j } ∣ ∣ S u p p ( V u ) ∣ ≤ max ⁡ v ′ ∈ S u p p ( V u ) ∣ { v ∈ S u p p ( V u ) : ∣ g ( v ) ∩ g ( v ′ ) ∣ ≥ 1 } ∣ ∣ S u p p ( V u ) ∣ = max ⁡ M ′ ∈ S u p p ( H ( u ) ) P r ( ∣ H ( u ) ∩ M ′ ∣ ≥ 1 ) , \left.\begin{aligned}&\left|f(h_{1},\ldots,h_{n})-f(h_{1},\ldots,h_{j-1},h_{j}^{\prime},h_{j+1},\ldots,h_{n})\right|\\&=\left|\Pr(\mathcal{F}\mid H(x_{1})=h_{1},\ldots,H(x_{n})=h_{n})\right.\\&-\Pr(\mathcal{F}\mid H(x_{1})=h_{1},\ldots,H(x_{j-1})=h_{j-1},H(x_{j})=h_{j}^{\prime},H(x_{j+1})=h_{j+1},\ldots H(x_{n})\\&=\frac{\left|\left|\{v\in\mathrm{Supp}(V_u):g(v)\subseteq\bigcup_{i=1}^nh_i\}\right|-\left|\left\{v\in\mathrm{Supp}(V_u):g(v)\subseteq\bigcup_{i=1}^n\left\{\begin{array}{c}h_j^{\prime}&i=j\\h_i&i\neq j\end{array}\right.\right.\right\}\right|}{\left|\mathrm{Supp}(V_u)\right|}\\&\leq\frac{\max_{v^{\prime}\in\mathrm{Supp}(V_u)}\mid\{v\in\mathrm{Supp}(V_u):|g(v)\cap g(v^{\prime})|\geq1\}\mid}{\left|\mathrm{Supp}(V_u)\right|}\\&=\max_{M^{\prime}\in\mathrm{Supp}(H(u))}\mathbf{Pr}(|H(u)\cap M^{\prime}|\geq1),\end{aligned}\right. ​ ​f(h1​,…,hn​)−f(h1​,…,hj−1​,hj′​,hj+1​,…,hn​) ​=∣Pr(F∣H(x1​)=h1​,…,H(xn​)=hn​)−Pr(F∣H(x1​)=h1​,…,H(xj−1​)=hj−1​,H(xj​)=hj′​,H(xj+1​)=hj+1​,…H(xn​)=∣Supp(Vu​)∣ ​∣{v∈Supp(Vu​):g(v)⊆⋃i=1n​hi​}∣− ​{v∈Supp(Vu​):g(v)⊆⋃i=1n​{hj′​hi​​i=ji=j​} ​​≤∣Supp(Vu​)∣maxv′∈Supp(Vu​)​∣{v∈Supp(Vu​):∣g(v)∩g(v′)∣≥1}∣​=M′∈Supp(H(u))max​Pr(∣H(u)∩M′∣≥1),​

其中第一步只是 $f$ 的定义,第二步是从 $V_u$ 和 $y$ 的定义开始,第三步成立,因为将 $h_i$ 之一更改为某个 $M^{\prime }\in \mathrm{Supp}(H(u))$ 无法更改

$$\left|\left\{v\in \mathrm{Supp}(V_u):g(v)\subseteq \bigcup _{i=1}^n{h}_i\right\}\right|$$

bv 超过

∣ { v ∈ S u p p ( V u )   :   ∣ g ( v ) ∩ M ′ ∣ ≥ 1 } ∣ , \left|\left\{v\in\mathrm{Supp}(V_u)\::\:|g(v)\cap M'|\geq1\right\}\right|, ∣{v∈Supp(Vu​):∣g(v)∩M′∣≥1}∣,

第四步来自 $V_u$ 和 $y$ 的定义

现在考虑任何固定$M^{\prime }\in \mathrm{Supp}(H(u))$ ,并设 $y_1,\dots ,y_{|M^{\prime }|}$ 是 $M^{\prime }$ 的不同元素。回想一下 $\Vert M^{\prime }\Vert =k$ ,SO $|M^{\prime }|\le k$ .应用一个联合 bound,我们有那个

$$\begin{array}{rl}\mathbf{Pr}(|H(u)\cap M^{\prime }|\ge 1)& =\mathbf{Pr}\left(\bigcup _{i=1}^{|M^{\prime }|}{y}_i\in H(u)\right)\\ & \le \sum _{i=1}^{|M^{\prime }|}\mathbf{Pr}(y_i\in H(u))\\ & \le \sum _{i=1}^{|M^{\prime }|}\frac{\lambda }{kn}+\Delta \\ & \le \frac{\lambda }{n}+k\Delta .\end{array}$$

因此,我们可以设置 $c=\frac{\lambda }{n}+k\Delta$ 来获取

$$\mathbf{Pr}(|R-\mathbf{E}[R]|>\delta )\le 2\exp \left[\frac{-2n{\delta }^2}{{\lambda }^2+\xi }\right],$$

对于任何 $\delta >0$ .由于 $\mathbf{E}[R]=$Pr$(\mathcal{F})$ ,我们写(对于足够大的 $Tl.$,使得 $ϵ>|\mathbf{Pr}(\mathcal{F})-p|)$

$$\begin{array}{rl}\mathbf{Pr}(|R-p|>ϵ)& \le \mathbf{Pr}(|R-\mathbf{Pr}(\mathcal{F})|>ϵ-|\mathbf{Pr}(\mathcal{F})-p|)\\ & \le 2\exp \left[\frac{-2n(ϵ-|\mathbf{Pr}(\mathcal{F})-p|{)}^2}{{\lambda }^2+\xi }\right].\end{array}$$

为了完成证明,我们看到对于任何常数 $\delta >0$

$$\mathbf{Pr}(|R-p|h(n)>\delta )=\mathbf{Pr}(|R-p|>\delta /h(n))\to 0\mathrm{as}n\to \infty ,$$

其中第二步来自 $|\mathbf{Pr}(\mathcal{F})-p|=o(1/h(n))$ 的事实,因此足够大 77。,

$$\begin{array}{rl}\mathbf{Pr}(|R-p|>\delta /h(n))& \le 2\exp \left[\frac{-2n(\delta /h(n)-|\mathbf{Pr}(\mathcal{F})-p|{)}^2}{{\lambda }^2+\xi }\right]\\ & \le 2\exp \left[-\frac{{\delta }^2}{{\lambda }^2+\xi }\cdot \frac{n}{h(n{)}^2}\right]\\ & \to 0\mathrm{as}n\to \infty ,\end{array}$$

最后一步是 $h(n)=o(\sqrt{n})$

由于以 $R.$ 为条件,事件 { F ( z ) : z ∈ U − S } \{{\mathcal{F}}(z):z\in U-S\} {F(z):z∈U−S} 是独立的,并且每个事件的发生概率都$R.$ ,定理 7.1 表明 { 1 ( F ( z ) ) : z ∈ U − S } \{\mathbf{1}(\mathcal{F}(z)):z\in U-S\} {1(F(z)):z∈U−S} 本质上是独立的伯努利试验,成功概率为 $/\mu$ 。下一个结果是这个想法的正式化。

引理 7.1.考虑一个定理 7.1 的条件成立的方案。设 ${\mathcal{F}}_{n_0}(z)$ 表示 $\mathcal{F}(z)$ 在方案与 ${\eta }_l={\eta }_0$ 一起使用的情况下表示 $\mathcal{F}(z)$ 。同样,在 $\mathbf{T}\mathbf{l}={\mathbf{Y}\mathbf{l}}_0$ 的情况下,让 $R_{n_0}$ 表示 $R$。设 { X n } \{X_{n}\} {Xn​} 是实值随机变量序列,其中每个变量。$X_n$ 可以被理解为 { 1 ( F n ( z ) ) 的某个函数 : \{ \mathbf{1} ( \mathcal{F} _{n}( z) ) 的某个函数 : {1(Fn​(z))的某个函数: $z\in U-S\}$ ,并设 $Y$ 是 $1\mathbb{R}$ 上的任何概率分布。然后对于每个$x\in \mathbb{R}$ 和 $ϵ=ϵ(n)>0$ 和 $ϵ=\omega (|\mathbf{Pr}(\mathcal{F})-p|)$ ,对于足够大的 $TI$,使得 $ϵ>\left|\mathrm{Pr}(\mathcal{F})-p\right|$

$$\begin{array}{rl}|\mathrm{Pr}(X_n\le x)-\mathrm{Pr}(Y\le x)|\le |\mathrm{Pr}(X_n\le x\mid |R_n-p|\le ϵ)-\mathrm{Pr}(Y\le x)|& \\ & +2\exp \left[\frac{-2n(ϵ-|\mathbf{Pr}(\mathcal{F})-p|{)}^2}{{\lambda }^2+\xi }\right].\end{array}$$

证明。证明是定理 7.1.fix any $x\in$ 18 ,并选择一些满足引理条件的 $E$。Ther.

$$\begin{array}{rl}{}_n\le x)& =\mathbf{Pr}(X_n\le x,|R_n-p|>ϵ)+\mathbf{Pr}(X_n\le x,|R_n-p|\le ϵ)\\ & =\mathbf{Pr}(X_n\le x\mid |R_n-p|\le ϵ)\\ & +\mathbf{Pr}(|R_n-p|>ϵ)\left[\mathbf{Pr}(X_n\le x\mid |R_n-p|>ϵ)-\mathbf{Pr}(X_n\le x\mid |R_n-p|\le ϵ\right]\end{array}$$

这意味着

$$|\mathrm{Pr}(X_n\le x)-\mathrm{Pr}(X_n\le x\mid |R_n-p|\le ϵ)|\le \mathrm{Pr}(|R_n-p|>ϵ).$$

因此

$$\begin{array}{rl}& (X_n\le x)-\mathbf{Pr}(Y\le x)|\\ & \mathbf{Pr}(X_n\le x)-\mathbf{Pr}(X_n\le x\mid |R_n-p|\le ϵ)|+|\mathbf{Pr}(X_n\le x\mid |R_n-p|\le ϵ)-\mathbf{Pr}(Y_n\le x)\\ & \mathbf{Pr}(|R_n-p|>ϵ)+|\mathbf{Pr}(X_n\le x\mid |R_n-p|\le ϵ)-\mathbf{Pr}(Y_n\le x)|,\end{array}$$

因此,对于足够大的 $Tl.$,使得 $ϵ>\left|\mathbf{Pr}(\mathcal{F})-p\right|$

$$\begin{array}{rl}|\mathrm{Pr}(X_n\le x)-\mathrm{Pr}(Y\le x)|\le |\mathrm{Pr}(X_n\le x\mid |R_n-p|\le ϵ)-\mathrm{Pr}(Y\le x)|& \\ & +2\exp \left[\frac{-2n(ϵ-|\mathbf{Pr}(\mathcal{F})-p|{)}^2}{{\lambda }^2+\xi }\right],\end{array}$$

由 Theorem 7.1 提供。

通过阐述定理 7.1 和引理 7.1 的强大功能,我们用它们来证明大数强定律的版本。Hoeffding 不等式和中心极限定理。

定理 7.2.考虑一个满足定理条件的方案 7.1.设 $Z\subseteq U-S$ 是可数无限的,并写成 Z = { z 1 , z 2 , … } Z=\{z_{1},z_{2},\ldots\} Z={z1​,z2​,…} 。然后对于任何 $ϵ>0$ ,对于 n 足够大,使得 $ϵ>\left|\mathbf{Pr}(\mathcal{F})-p\right|$ ,我们有。

$$\mathrm{Pr}\left(\underset{\ell \to \infty }{\lim }\frac{1}{\ell }\sum _{i=1}^{\ell }1({\mathcal{F}}_n(z_i))=R_n\right)=1.$$

2.对于任何 $ϵ>0$ ,对于 TI 足够大,使得 $ϵ>\left|\mathrm{Pr}(\mathcal{F})-p\right|$

$$\mathbf{Pr}\left(\left|\underset{\ell \to \infty }{\lim }\frac{1}{\ell }\sum _{i=1}^{\ell }1({\mathcal{F}}_n(z_i))-p\right|>ϵ\right)\le 2\exp \left[\frac{-2n(ϵ-|\mathbf{Pr}(\mathcal{F})-p|{)}^2}{{\lambda }^2+\xi }\right].$$

特别是,${\lim }_{\ell \to \infty }\frac{1}{\ell }{\sum }_{i=1}^{\ell }1({\mathcal{F}}_n(z_i))$ 收敛到 $P$ 的概率为 $7l\to 0$

3.对于任何函数 $Q(n)$ , $ϵ>0$ ,andn 足够大,使得 $ϵ/2>\left|\mathbf{Pr}(\mathcal{F})-p\right|$

公关
$$\mathbf{r}\left(\left|\frac{1}{Q(n)}\sum _{i=1}^{Q(n)}1({\mathcal{F}}_n(z_i))-p\right|>ϵ\right)\le 2{\mathrm{e}}^{-Q(n){ϵ}^2/2}+2\exp \left[\frac{-2n(ϵ/2-|\mathbf{Pr}(\mathcal{F})-p|{)}^2}{{\lambda }^2+\xi }\right].$$

4.对于任何函数 $Q(n)$ 和 ${\lim }_{n\to \infty }Q(n)=\infty$ 且 $Q(n)=o(\min (1/|\mathbf{Pr}(\mathcal{F})-p{|}^2,n))$

${\sum }_{i=1}^{Q(n)}\frac{1({\mathcal{F}}_n(z_i))-p}{\sqrt{Q(n)p(1-p)}}\to$N(0,1) in itituin s $7l\to 0$

备注。根据定理 6.2 和 6.3,对于第 5 节中介绍的分区和双重哈希方案,$|\mathbf{Pr}(\mathcal{F})-p|=\Theta (1/n)$。因此,对于每个方案,定理 7.2 第四部分中的条件 $Q(n)=$ $o(\min (1/|\mathbf{Pr}(\mathcal{F})-p{|}^2,n))$ 变为 $Q(n)=o(n)$

证明。由于给定 $R_n$ ,随机变量 { 1 ( F n ( z ) ) : z ∈ Z } \{\mathbf{1}(\mathcal{F}_{n}(z)):z\in Z\} {1(Fn​(z)):z∈Z} 是条件独立的伯努利试验,具有共同的成功概率 $R_n$ ,因此直接应用大数强定律会产生第一项。对于第二项,我们注意到第一项意味着

$$\underset{\ell \to \infty }{\lim }\frac{1}{\ell }\sum _{i=1}^{\ell }1({\mathcal{F}}_n(z_i))\sim R_n.$$

然后直接应用定理 7.1 即可得出结果。

其余两项的难度略高。但是,可以使用 Lemma 7.1 的简单应用程序来处理它们。对于第三项,定义

$$X_n\stackrel{\mathrm{def}}{=}\left|\frac{1}{Q(n)}\sum _{i=1}^{Q(n)}1({\mathcal{F}}_n(z_i))-p\right|.$$

和 $Y\stackrel{\det }{=}0$ 。设 =e/2 得到

$$\begin{array}{rl}& \mathbf{Pr}(X_n>ϵ\mid |R_n-p|\le \delta )\\ & =\mathbf{Pr}\left(\left|\sum _{i=1}^{Q(n)}1({\mathcal{F}}_n(z_i)))-Q(n)p\right|>Q(n)ϵ||R_n-p|\le \delta \right)\\ & \le \mathbf{Pr}\left(\left|\sum _{i=1}^{Q(n)}1({\mathcal{F}}_n(z_i))-Q(n)R_n\right|>Q(n)\left(ϵ-|R_n-p|\right)||R_n-p|\le \delta \right)\\ & \le \mathbf{Pr}\left(\left|\sum _{i=1}^{Q(n)}1({\mathcal{F}}_n(z_i))-Q(n)R_n\right|>\frac{Q(n)ϵ}{2}||R_n-p|\le \delta \right)\\ & \le 2{\mathrm{e}}^{-Q(n)t^2/2},\end{array}$$

其中前两个步骤是显而易见的,第三步是 $\mathbf{Pr}({\mathcal{F}}_n\mid R_n)=R_n$ 的事实,第四步是霍夫丁不等式的应用(利用以下事实:给定 $R_n$ { 1 ( F n ( z ) ) : z ∈ Z } \{1(\mathcal{F}_{n}(z)):z\in Z\} {1(Fn​(z)):z∈Z} 是独立且同分布的伯努利试验,共量成功概率为 $R_n$ )。

现在,由于 $\mathbf{Pr}(Y\le ϵ)=1$

$$\mathbf{Pr}(X_n\le ϵ\mid |R_n-p|\le \delta )-\mathbf{Pr}(Y\le ϵ)|=\mathbf{Pr}(X_n>ϵ\mid |R_n-p|\le \delta )\le 2{\mathrm{e}}^{-Q(n){ϵ}^2/2}.$$

引理 7.1 的应用程序现在给出了第三项。对于第四项,我们写成

Q(n) >
$$\frac{1({\mathcal{F}}_n(z_i))-p}{\sqrt{Q(n)p(1-p)}}=\sqrt{\frac{R_n(1-R_n)}{p(1-p)}}\left(\sum _{i=1}^{Q(n)}\frac{1({\mathcal{F}}_n(z_i))-R_n}{\sqrt{Q(n)R_n(1-R_n)}}+(R_n-p)\sqrt{\frac{Q(n)}{R_n(1-R_n)}}\right)$$

根据中心极限定理,

$$\sum _{i=1}^{Q(n)}\frac{1({\mathcal{F}}_n(z_i))-R_n}{\sqrt{Q(n)R_n(1-R_n)}}\to \mathrm{N}(0,1)\text{在分布中}n\to \infty ,$$

因为,给定 $R_n$ , { 1 ( F n ( z ) ) : z ∈ Z } \{\mathbf{1}(\mathcal{F}_{n}(z)):z\in Z\} {1(Fn​(z)):z∈Z} 是独立且同分布的伯努利试验,具有共同的成功概率 $R_n$ 。此外,根据定理 7.1,$R_n$ 的概率收敛为 $F$,即 $Tl\to \mathbf{x}$,因此足以证明 $(R_n-p)\sqrt{Q(n)}$ 的概率收敛为 0,即 ${\eta }_b\to \mathbf{x}$。但是 $\sqrt{Q(n)}=o(\min (1/|\mathbf{Pr}(\mathcal{F})-p|,\sqrt{n}))$ ,所以定理 7.1 的另一个应用给出了结果。L

8. 实验

在本节中,我们实证评估了前几节的理论结果,以 $7l$ 的小值。我们对以下具体方案感兴趣:标准的 Bloom filter 方案、分区方案、双重哈希方案和扩展的双重哈希方案,其中 $f(i)=i^2$ 和 $f(i)=i^3$ 对于 c ∈ { 4 , 8 , 12 , 16 } c\in\{4,8,12,16\} c∈{4,8,12,16} ,我们执行以下操作。首先,计算 $k\in \{\lfloor c\ln 2\rfloor ,\lceil c\ln 2\rceil \}$ 的值

最小化 $p=(1-\exp [-k/c]{)}^k$ .接下来,对于正在考虑的每个方案,重复以下过程 10,000 次:使用指定的值 $7l$ , $C$ 实例化过滤器

​ 图 1:各种方案和参数的假阳性概率估计值。

和 $k$ ,用一组 $S$ $7L$ 个项目填充过滤器,然后查询不在 $S$ 中的 $\lceil 10/p\rceil$ 元素,记录过滤器返回误报的那些查询的 $Q $ 个。然后,我们通过对所有 10,000 次试验的结果求平均值来近似该方案的假阳性概率。此外,我们将试验结果按它们在 $CQ$ 的值进行分箱,以检查 $Q$ 分布的其他特征。

结果如图 1 和图 2 所示。在图 1 中,我们看到对于 $C$ 的小值,不同的方案基本上彼此无法区分,同时具有接近 $P$ 的假阳性概率/率。这个结果特别重要,因为我们正在试验的滤波器相当小,这支持了我们的说法,即即使在空间非常有限的环境中,这些方案也很有用。然而,我们也看到,对于稍大的 c ∈ { 12 , 16 } c\in\{12,16\} c∈{12,16} 值,分区方案不再特别有用 $7L$ 的小值,而其他方案则特别有用。这个结果并不特别令人惊讶,因为从第 6 节中我们知道,所有这些方案都不适合 $Tl.$ 的小值和 $\mathbf{C}$ 的大值。此外,鉴于第 2 节中的观察结果,标准 Bloom 过滤器的分区版本的性能永远不会比原始版本更好,因此我们预计分区方案最不适合这些条件。尽管如此,分区方案在某些设置中可能仍然有用,因为它大大减少了哈希函数的范围。在图 2 中,我们给出了 $n=5000$ 和 $c=8$ 的实验结果的直方图

对于分区和扩展的双重哈希方案。请注意,对于 $C$ 的这个值,优化 $k$ 的结果是 $k=6$ ,所以我们有 $p\approx 0.021577$ 和 $\lceil 10/p\rceil =464$ 。在每个图中,我们将结果与 $f\stackrel{\mathrm{def}}{=}10,000{\varphi }_{464p,464p(1-p)}$ 进行比较,其中

$${\varphi }_{\mu ,{\sigma }^2}(x)\stackrel{\mathrm{def}}{=}\frac{{\mathrm{e}}^{-(x-\mu {)}^2/2{\sigma }^2}}{\sigma \sqrt{2\pi }}$$

表示 $\mathrm{N}(\mu ,{\sigma }^2)$ 的密度函数。正如人们所料,给定定理 7.2 第四部分的中心极限定理,$f$ 为每个直方图提供了一个合理的近似值

---

​ 图 2:$CQ$ 的分布估计($n=5000$ 和 $c=8$),与 $f $相比

9. 修改后的 Count-Min Sketch

现在,我们提出了对 [4] 中引入的 Count-Min Sketch的修改,它以类似于我们对 Bloom 过滤器的改进的方式使用更少的哈希函数,但代价是空间增加很小。我们首先回顾原始数据结构。

9.1 Count-Min Sketch 回顾

以下是对 [4] 中给出的描述的简要回顾。Count-Min Sketch将更新流 $(i_t,c_t)$ 作为输入,从 $t=1$ 开始,其中每个项目 $i_t$ 都是集合 U = { 1 , … , n } U=\{1,\ldots,n\} U={1,…,n} 的成员,每个计数 $Ct$ 都是一个正数。(可以扩展到负计数;我们在这里不考虑它们是为了方便。系统在时间 $T$ 的状态由向量 $\vec{a}(T)=(a_1(T),\dots ,a_n(T))$ 给出,其中 $a_j(T)$ 是 $t\le T$ 和 $i_t=j$ 的所有 $Ct $ 的总和。当含义明确时,我们通常会去掉 $I$。Count-Min Sketch由宽度为 $w\stackrel{\mathrm{def}}{=}\lceil \mathrm{e}/ϵ\rceil$ 和深度为 $d\stackrel{\mathrm{def}}{=}\lceil \ln 1/\delta \rceil$ 的数组 Count 组成

计数$[1,1],\dots$,计数$[d,w]$ .数组的每个条目都初始化为 $U$ 。此外,CountMin Sketch使用独立于成对独立族 $H$ 中选择的 $d$ 哈希函数: { 1 , … , n } → { 1 , … , w } \{1,\ldots,n\}\to\{1,\ldots,w\} {1,…,n}→{1,…,w} Count-Min Sketch的机制非常简单。每当更新 $(i,c)$

到达时,我们将 $\mathrm{Count}[j,h_j(i)]$ 增加 $t$ 对于 $j=1,\dots ,d$ 。每当我们想要 $u_i$ 的估计值(称为点查询)时,我们都会计算
$${\hat{a}}_i\stackrel{\mathrm{def}}{=}\underset{j=1}{\overset{d}{\min }}\mathrm{Count}[j,h_j(i)].$$
Count-Min Sketch的基本结果是,对于每个 $\dot{\tau }$
$${\hat{a}}_i\ge a\mathrm{and}\mathbf{Pr}({\hat{a}}_i\le a_i+ϵ\Vert \vec{a}\Vert )\ge 1-\delta ,$$

其中 norm 是 $L_1$ 范数。令人惊讶的是,这个非常简单的边界允许在 Count-Min Sketch上高效地实现许多复杂的估计程序。有关详细信息,请再次参考读者 [4]。

9.2使用更少的哈希函数

现在,我们将展示如何将本文前面讨论的布隆滤波器的改进有效地应用于 Count-Min Sketch。我们的修改保留了 Count-Min Sketch的所有基本功能,但将所需的成对独立哈希函数数量减少到 $2\lceil (\ln 1/\delta )/(\ln 1/ϵ)\rceil$ 。我们预计,在许多情况下,$E$ 和 $\delta$ 将是相关的,因此只需要恒定数量的哈希函数;事实上,在许多此类情况下,只需要两个哈希函数。我们描述了 Count-Min Sketch的一个变体,它只使用两个成对独立的哈希值

功能并保证

$${\hat{a}}_i\ge a\mathrm{and}\mathbf{Pr}({\hat{a}}_i\le a_i+ϵ\Vert \vec{a}\Vert )\ge 1-ϵ.$$

鉴于这样的结果,使用 $2\lceil (\ln 1/\delta )/(\ln 1/ϵ)\rceil$ 成对独立哈希函数并实现所需的失败概率 $\delta$ 的变体是很简单的:只需构建此数据结构的 $2\lceil (\ln 1/\delta )/(\ln 1/ϵ)\rceil$ 个独立副本,并始终使用其中一个副本给出的最小估计值来回答点查询。我们的变体将使用编号为 { 0 , 1 , … , d − 1 } \{0,1,\ldots,d-1\} {0,1,…,d−1} 的 $d$ 个表,每个表都有正好$ub$ 个计数器

编号为 { 0 , 1 , … , w − 1 } \{0,1,\ldots,w-1\} {0,1,…,w−1} ,其中 $d$ 和 $UD$ 将在后面指定。我们坚持 $ub $ 为素数。就像在原始的 Count-Min Sketch中一样,我们让 $\mathrm{Count}[j,k]$ 表示第 $j$ 个表中第 $k$ 个计数器的值。我们选择哈希函数 $h_1$ 和 $h_2$ 独立于成对独立函数。家族 H : { 0 , … , n − 1 } {\mathcal{H} }: \{ 0, \ldots , n- 1\} H:{0,…,n−1} $\to$ { 0 , 1 , … , w − 1 } \{ 0, 1, \ldots , w- 1\} {0,1,…,w−1} ,并定义 $ g_{j}( x) $ = $h_1(x)$ + $j{h}_2(x)$ mod $U$ for $j=0,\dots ,d-1$ 我们的数据结构的机制与原始的 Count-Min Sketch相同。

每当流中发生更新 $(i,c)$ 时,我们就会将 $\mathrm{Count}[j,g_j(i)]$ 增加 $t$ ,对于 $j=$ $ $ 0,\ldots,d-1$ 。每当我们想要 $u_i$ 的估计值时,我们都会计算

$${\hat{a}}_i\stackrel{\mathrm{def}}{=}\underset{j=0}{\overset{d-1}{\min }}\mathrm{Count}[j,g_j(i)].$$

我们证明了以下结果:

定理 9.1.对于上述 Count-Min Sketch变体。

$${\hat{a}}_i\ge aand\mathbf{Pr}({\hat{a}}_i>a_i+ϵ\Vert \vec{a}\Vert )\le \frac{2}{ϵw^2}+{\left(\frac{2}{ϵw}\right)}^d.$$

特别是,对于 $w\ge 2$e$/ϵ$ 和 $\delta \ge \ln 1/ϵ(1-1/2{\mathrm{e}}^2)$

$${\hat{a}}_i\ge aand\mathbf{Pr}({\hat{a}}_i>a_i+ϵ\Vert \vec{a}\Vert )\le ϵ.$$

证明。修复一些项目 $i $ 。设 $A_i$ 是所有项目 Z(除了 $\dot{i}$ )的总数,其中 $h_1(z)=h_1(i)$ 和 $h_2(z)=h_2(i)$ 。设 $B_{j,i}$ 是 $g_j(i)=g_j(z)$ 的所有项目 Z 的总数,不包括 $i$ 和计入 $A_i$ 的项目 2。因此

$${\hat{a}}_i=\underset{j=0}{\overset{d-1}{\min }}\text{Count}[j,g_j(i)]=a_i+A_i+\underset{j=0}{\overset{d-1}{\min }}{B}_{j,i}.$$

现在,下限紧跟在 allitems 具有非负计数的事实之后。因为所有更新都是积极的。因此,我们专注于上限,我们通过注意到
$$\mathbf{Pr}({\hat{a}}_i\ge a_i+ϵ\Vert \vec{a}\Vert )\le \mathbf{Pr}(A_i\ge ϵ\Vert \vec{a}\Vert /2)+\mathbf{Pr}\left(\underset{j=0}{\overset{d-1}{\min }}{B}_{j,i}\ge ϵ\Vert \vec{a}\Vert /2\right).$$
我们首先绑定了 $A_i$ 。设 $1(\cdot )$ 表示指标函数,我们有
$$\mathbf{E}[A_i]=\sum _{z\ne i}{a}_z\mathbf{E}[1(h_1(z)=h_1(i)\wedge h_2(z)=h_2(i))]\le \sum _{z\ne i}{a}_z/w^2\le \Vert \vec{a}\Vert /w^2,$$
其中第一步来自期望的线性,第二步来自哈希函数的定义。马尔可夫不等式现在意味着
$$\mathrm{Pr}(A_i\ge ϵ\Vert \vec{a}\Vert /2)\le 2/ϵw^2.$$
要绑定 ${\min }_{j=0}^{d-1}{B}_{j,i}$ ,我们注意到对于任何 j ∈ { 0 , … , d − 1 } j\in\{0,\ldots,d-1\} j∈{0,…,d−1} 和 $z\ne i$
$$\begin{array}{rl}\mathbf{Pr}(((h_1(z)\ne h_1(i)\vee h_2(z)\ne h_2(i))\wedge g_j(z)=g_j(i))& \le \mathbf{Pr}(g_j(z)=g_j(i))\\ & =\mathbf{Pr}(h_1(z)=h_1(i)+j(h_2(i)-h_2(z))\\ & =1/w,\end{array}$$
所以
$$\mathbf{E}[B_{j,i}]=\sum _{z\ne i}{a}_z\mathbf{E}[1((h_1(z)\ne h_1(i)\vee h_2(z)\ne h_2(i)))\wedge g_j(z)=g_j(i))]\le \Vert \vec{a}\Vert /w,$$
因此,马尔可夫不等式意味着
$$\mathbf{Pr}(B_{j,i}\ge ϵ\Vert \vec{a}\Vert /2)\le 2/ϵw$$
对于任意$ub$ ,这个结果不足以绑定 ${\min }_{j=0}^{d-1}{B}_{j,i}.$ 但是,由于 $ub$ 是素数,每个项目 $Z$ 只能对一个 $B_{k,i}$ 做出贡献(因为如果 $g_j(z)=g_j(i)$ 对于两个 $j$ 的值,我们必须有 $h_1(z)=h_1(i)$ 和 $h_2(z)=h_2(i)$ , 在这种情况下,2 的计数不包括在任何 $B_{j,i}$ ) 中。从这个意义上说,$B_{j,i}$ 是负依赖性的 [7]。因此,对于任何 $U $ 的值
$$\mathbf{Pr}\left(\underset{j=0}{\overset{d-1}{\min }}{B}_{j,i}\ge v\right)\le \prod _{j=0}^{d-1}\mathbf{Pr}(B_{j,i}\ge v)$$
特别是,我们有
$$\mathbf{Pr}\left(\underset{j=0}{\overset{d-1}{\min }}{B}_{j,i}\ge ϵ\Vert \vec{a}\Vert /2\right)\le (2/ϵw{)}^d,$$
所以
$$\begin{array}{rl}\mathbf{Pr}({\hat{a}}_i\ge a_i+ϵ\Vert \vec{a}\Vert )& \le \mathbf{Pr}(A_i\ge ϵ\Vert \vec{a}\Vert /2)+\mathbf{Pr}\left(\underset{j=0}{\min }{B}_j,i\ge ϵ\Vert \vec{a}\Vert /2\right)\\ & \le \frac{2}{ϵw^2}+{\left(\frac{2}{ϵw}\right)}^d.\end{array}$$
对于 $w\ge 2$e$/ϵ$ 和 $\delta \ge \ln 1/ϵ(1-1/2{\mathrm{e}}^2)$ ,我们有
$$\begin{array}{r}\frac{2}{ϵw^2}+{\left(\frac{2}{ϵw}\right)}^d\le ϵ/2e^2+ϵ(1-1/2{\text{e}}^2)=ϵ,\end{array}$$
完成证明

---

10.结论

布隆过滤器是简单的随机数据结构,在实践中非常有用。事实上,它们非常有用,以至于执行 Bloom 过滤器操作所需的时间的任何显著减少都会立即转化为许多实际应用程序的大幅加速。不幸的是,Bloom 过滤器非常简单,以至于它们没有留下太多的优化空间。本文重点介绍如何修改 Bloom 过滤器以减少它们唯一依赖的资源 -

tionally use liberally: (伪)随机性。由于唯一由 .布隆过滤器是伪随机哈希函数的构造和评估,伪随机哈希函数所需数量的任何减少都会使执行布隆过滤器操作所需的时间减少几乎相等(当然,假设布隆过滤器完全存储在内存中,因此可以非常快速地执行随机访问)我们已经证明,布隆过滤器可以只用两个伪随机哈希来实现

函数时,渐近假阳性概率没有任何增加,并且,对于具有合理参数的固定大小的 Bloom 滤波器,假阳性概率没有任何实质性增加。我们还表明,渐近假阳性概率在所有实际目的和布隆滤波器参数的合理设置中起作用,就像假阳性率一样。这个结果具有巨大的实际意义,因为标准 Bloom 滤波器的类似结果本质上是它们广泛使用的理论理由。更一般地说,我们给出了一个分析修改后的 Bloom 过滤器的通用框架,该框架

我们预计将来将用于改进我们在本文中分析的具体方案。我们还希望本文中使用的技术能够有效地应用于其他数据结构,正如我们对 Count-Min Sketch的修改所证明的那样。

致谢

我们非常感谢 Peter Dillinger 和 Panagiotis Manolios 向我们介绍了这个问题,为我们提供了他们工作的提前副本,并提供了许多有用的讨论。

引用

[1] P. Billingsley. Probability and Measure, Third Edition. John Wiley & Sons, 1995.

[2] P. Bose, H. Guo, E. Kranakis, A. Maheshwari, P. Morin, J. Morrison, M. Smid, and Y Tang. On the false-positive rate of Bloom filters. Submitted. Temporary version available at http://cg.scs.carleton.ca/~morin/publications/ds/bloom-submitted.pdf [3]A. Broder and M. Mitzenmacher. Network Applications of Bloom Filters: A Survey. Internet Mathematics, to appear. Temporary version available at http: //www.eecs.harvard. edu/. ~michaelm/postscripts/tempim3.pdf [4] G. Cormode and S. Muthukrishnan. Improved Data Stream Summaries: The Count-Min Sketch and its Applications. DIMACS Technical Report 2003-20, 2003 [5]P. C. Dillinger and P. Manolios. Bloom Filters in Probabilistic Verification. FMCAD 2004, Formal Methods in Computer-Aided Design, 2004. [6]P. C. Dillinger and P. Manolios. Fast and Accurate Bitstate Verification for SPIN. SPIN 2004, 11th International SPIN Workshop on Model Checking of Software, 2004.

---

[7]D. P. Dubhashi and D. Ranjan. Balls and Bins: A Case Study in Negative Dependence. Random Structures and Algorithms, 13(2):99-124, 1998 [8]L.Fan, P. Cao, J. Almeida,and A. Z. Broder. Summary cache: a scalable wide-area Web cache sharing protocol. IEEE/ACM Transactions on Networking, 8(3):281-293, 2000 [9] K. Ireland and M. Rosen. A Classical Introduction to Modern Number Theory, Second Edition. Springer-Verlag, New York, 1990 [10]D. Knuth. The Art of Computer Programming, Volume 3: Sorting and Searching. AddisonWesley, Reading Massachusetts, 1973. [11] M. Mitzenmacher. Compressed Bloom Filters. IEEE/ACM Transactions on Networking. 105:613-620, 2002 [12] M. Mitzenmacher and E. Upfal. Probability and Computing: Randomized Algorithms and Probabilistic Analysis. Cambridge University Press, 2005. [13] M. V. Ramakrishna. Practical performance of Bloom filters and parallel free-text searching Communications of the ACM, 32(10):1237-1239, 1989.