构建更好的 Bloom Filter——布隆过滤器优化算法double—hashing论文翻译（二）

引言

本论文来自leveldb源码中bloom.cc下布隆过滤器实现的代码注释中推荐的论文。论证了一种布隆过滤器的优化方式，带有详细的证明。是不可多得的好文章。其中的许多公式会对布隆过滤器相关的文章有所帮助。**所以博主将论文和其中的海量公式转化为了可编辑的markdown和Latex，并在机翻的基础上，通读论文并对翻译的不足进行修改和润色。**方便大家引用。如有转载，望注明论文出处和本文出处，谢谢！

论文原文出处：论文原文

本文作者：csdn账号，个人空间 - AcWing

受平台字数限制，只好将论文分成多段，望理解

6.收敛速率

在前面的部分中,我们确定了一大类非标准 Bloom 过滤器方案,它们与标准 Bloom 过滤器具有相同的渐近假阳性概率。不幸的是,这些结果在空间非常有限的环境中并不是特别引人注目,因为有理由认为定理 4.1 结论的收敛速度可能相当慢。Bloom 过滤器在空间极其有限的应用程序中特别有吸引力(例如,参见 [3]),因为它们提供相当小的错误率,而每个项目只使用少量的恒定位数。因此,考虑到这些应用,我们在定理 4.1 中提供了对收敛速率的详细分析。在继续结果之前,我们介绍一些有用的符号。对于函数 $f(n)$ 和

$g(n)$ ,我们用 $f(n)\sim g(n)$ 来表示 ${\lim }_{n\to \infty }f(n)/g(n)=1$ 。同样,我们使用 $f(n)\lesssim g(n)$ 来表示 lim: ${\sup }_{n\to \infty }f(n)/g(n)\le 1$ 和 $f(n)\gtrsim g(n)$ 来表示 $\lim {\inf }_{n\to \infty }f(n)/g(n)\ge 1$ 我们现在准备好证明本节的主要技术结果

定理 6.1.在与定理 4.1 相同的条件下
$$\mathbf{Pr}(\mathcal{F})-{\left(1-{\mathrm{e}}^{-\lambda /k}\right)}^k\sim nϵ(n),$$
哪里
$$\begin{array}{rl}ϵ(n)& \stackrel{def}{=}\left(\mathbf{Pr}(\Vert C(x)\Vert =0)-1+\frac{\lambda }{n}\right){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^k\\ & +\left(\mathbf{Pr}(\Vert C(x)\Vert =1)-\frac{\lambda }{n}\right){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\\ & +\sum _{j=2}^k\mathbf{Pr}(\Vert C(x)\Vert =j){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-j}.\end{array}$$
备注。这个结果在直觉上是令人满意的,因为它表明渐近误差项表示的假阳性概率部分本质上是 $\Vert C(x,z)\Vert >1$ 正好用于 S$ 中的一个 $x\ 和 Z 的另一个 $k-\Vert C(x,z)\Vert$ 哈希位置被“渐近”过滤器中 $S$ 的其他元素命中(即,在 $n-1\to \infty$ 的限制中),这与概率 $(1-{\mathrm{e}}^{-\lambda /k}{)}^{k-\Vert C(x,z)\Vert }$ .(这几乎遵循定理 4.1。区别在于,现在 $z$ 只有 $k-\Vert C(x,z)\Vert$ 个哈希位置,而 S − { x } S-\{x\} S−{x} 的元素各有 $k$ 个哈希位置;但是,从定理 4.1 的证明中可以清楚地看出,在这种情况下,极限假阳性概率是 $(1-{\mathrm{e}}^{-\lambda /k}{)}^{k-\Vert C(x,z)\Vert }$ )

证明。我们按照与定理 4.1 证明相同的思路开始。首先,我们采用那里介绍的约定,它允许我们将 $H(z)$ 的元素(与多重性)与 $[k]$ 的元素相关联。接下来,对于 $i\in [k]$ 和 $x\in S$ ,如果 $i\in C(x)$ 和 $X_i(x)=0$,则定义 $X_i(x)=1$,否则$X_i\stackrel{\mathrm{def}}{=}{\sum }_{x\in S}{X}_i(x)$ ,以及 $X\stackrel{\mathrm{def}}{=}(X_0,\dots ,X_{k-1})$ 。最后,我们将 $P\stackrel{\mathrm{def}}{=}(P_0,\dots ,P_{k-1})$ 定义为 $k$ 独立 $\mathrm{Po}(\lambda /k)$ 随机变量定义的向量
$$\begin{array}{rl}& f(n)\stackrel{\mathrm{def}}{=}\mathbf{Pr}(\Vert C(x)\Vert =0)-1+\frac{\lambda }{n}\\ & g_i(n)\stackrel{\mathrm{def}}{=}\mathbf{Pr}(i\in C(x),\Vert C(x)\Vert =1)-\frac{\lambda }{kn}\mathrm{for}i\in [k]\\ & h_T(n)\stackrel{\mathrm{def}}{=}\mathbf{Pr}(C(x)=f_{H(z)}^{-1}(T)))\mathrm{for}T\subseteq [k]:|T|>1,\end{array}$$
请注意,它们都是由引理的假设$o\left(1/n\right)$。对于 $T\subseteq [k]$ ,我们现在 可以

---

写

P r ( ⋂ i ∈ T X i = 0 ) = ∏ x ∈ S P r ( { i ∈ [ k ] : i ∈ C ( x ) } ⊆ T ‾ ) = ( P r ( ∥ C ( x ) ∥ = 0 ) + ∑ i ∈ T P r ( i ∈ C ( x ) , ∥ C ( x ) ∥ = 1 ) + ∑ T ≤ T : ∣ T ′ ∣ > 1 P r ( C ( x ) = f H ( z ) − 1 ( T ′ ) ) = ( 1 − λ ∣ T ∣ k n + f ( n ) + ∑ i ∈ T g i ( n ) + ∑ T ′ ⊆ T ∣ T ′ ∣ > 1 h T ′ ( n ) ) n ∼ exp ⁡ [ − λ ∣ T ∣ k + n f ( n ) + ∑ i ∈ T n g i ( n ) + ∑ T ′ ⊆ T : ∣ T ′ ∣ > 1 n h g i ′ ( n ) ] = e − λ ∣ T ∣ k ( exp ⁡ [ n f ( n ) + ∑ i ∈ T n g i ( n ) + ∑ T ′ ⊆ T : ∣ T ′ ∣ > 1 n h g i ′ ( n ) ] ) ∼ e − λ ∣ T ∣ k ( 1 + n f ( n ) + ∑ i ∈ T n g i ( n ) + ∑ T ′ ⊆ T : ∣ T ′ ∣ > 1 n h g i ′ ( n ) ) , \begin{aligned}\mathbf{Pr}\left(\bigcap_{i\in T}X_i=0\right)&=\prod_{x\in S}\mathbf{Pr}\left(\{i\in[k]:i\in C(x)\}\subseteq\overline{T}\right)\\&=\left(\mathbf{Pr}(\|C(x)\|=0)+\sum_{i\in T}\mathbf{Pr}(i\in C(x),\|C(x)\|=1)\right.\\&+\sum_{T\leq T:|T^{\prime}|>1}\mathbf{Pr}(C(x)=f_{H(z)}^{-1}(T^{\prime}))\\&=\left(1-\frac{\lambda|T|}{kn}+f(n)+\sum_{i\in T}g_i(n)+\sum_{T^{\prime}\subseteq T|T^{\prime}|>1}h_{T^{\prime}}(n)\right)^n\\&\sim\exp\left[-\frac{\lambda|T|}k+nf(n)+\sum_{i\in T}ng_i(n)+\sum_{T^{\prime}\subseteq T:|T^{\prime}|>1}nhg_i^{\prime}(n)\right]\\&=\mathrm{e}^{-\frac{\lambda|T|}k}\left(\exp\left[nf(n)+\sum_{i\in T}ng_i(n)+\sum_{T^{\prime}\subseteq T:|T^{\prime}|>1}nhg_i^{\prime}(n)\right]\right)\\&\sim\mathrm{e}^{-\frac{\lambda|T|}k}\left(1+nf(n)+\sum_{i\in T}ng_i(n)+\sum_{T^{\prime}\subseteq T:|T^{\prime}|>1}nhg_i^{\prime}(n)\right),\end{aligned} Pr(i∈T⋂​Xi​=0)​=x∈S∏​Pr({i∈[k]:i∈C(x)}⊆T)=(Pr(∥C(x)∥=0)+i∈T∑​Pr(i∈C(x),∥C(x)∥=1)+T≤T:∣T′∣>1∑​Pr(C(x)=fH(z)−1​(T′))= ​1−knλ∣T∣​+f(n)+i∈T∑​gi​(n)+T′⊆T∣T′∣>1∑​hT′​(n) ​n∼exp ​−kλ∣T∣​+nf(n)+i∈T∑​ngi​(n)+T′⊆T:∣T′∣>1∑​nhgi′​(n) ​=e−kλ∣T∣​ ​exp ​nf(n)+i∈T∑​ngi​(n)+T′⊆T:∣T′∣>1∑​nhgi′​(n) ​ ​∼e−kλ∣T∣​ ​1+nf(n)+i∈T∑​ngi​(n)+T′⊆T:∣T′∣>1∑​nhgi′​(n) ​,​
前两个步骤很明显,第三个步骤来自 $f$ 的定义,$y_i$ 的定义,以及

$h{T}^{\prime }$ 的,以及第四步和第六步,都是从所有这些函数都是 $o\left(1/n\right)$ 的假设开始的(因为 ${\mathrm{e}}^{t(n)}\sim 1+t(n)$ 如果 $t(n)=o(1)$)

因此,包含/排除原则意味着

$$\begin{array}{rl}(\mathcal{F})-\mathbf{Pr}(\forall i:P_i>0)& =-\left(\mathbf{Pr}(\exists i:X_i=0)-\mathbf{Pr}(\exists i:P_i=0)\right)\\ & =-\sum _{\varnothing \subset T\subseteq [k]}(-1{)}^{|T|+1}\left(\mathbf{Pr}\left(\bigcap _{i\in T}{X}_i=0\right)-\mathbf{Pr}\left(\bigcap _{i\in T}{P}_i=0\right)\right)\\ & =\sum _{\varnothing \subset T\subseteq [k]}(-1{)}^{|T|}\left(\mathbf{Pr}\left(\bigcap _{i\in T}{X}_i=0\right)-{\mathrm{e}}^{-\frac{\lambda |T|}{k}}\right)\\ & \sim n\sum _{\varnothing \subset T\subseteq [k]}(-1{)}^{|T|}{\mathrm{e}}^{-\frac{\Delta |T|}{k}}\left(f(n)+\sum _{i\in T}{g}_i(n)+\sum _{T^{\prime }\subseteq \overline{T}:[T^{\prime }]>1}{h}_{T^{\prime }}(n)\right).\end{array}$$

---

求和最后一行,我们写

$$\begin{array}{rl}M& \stackrel{\mathrm{def}}{=}\sum _{\varnothing \subset T\subseteq [k]}(-1{)}^{|T|}{\mathrm{e}}^{-\frac{\lambda |T|}{k}}\left(f(n)+\sum _{i\in \overline{T}}{g}_i(n)+\sum _{T^{\prime }\subseteq \overline{T}:|T^{\prime }|>1}{h}_{T^{\prime }}(n)\right)\\ & =\sum _{j=1}^k{\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\sum _{T\subseteq [k]:[T|=j}f(n)\\ & +\sum _{j=1}^k{\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\sum _{T\subseteq [k]:|T|=j}\sum _{i\in \overline{T}}{g}_i(n)\\ & +\sum _{j=1}^k{\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\sum _{T\subseteq [k]:|T|=j}\sum _{T\subseteq \overline{T}:|T^{\prime }|>1}{h}_{T^{\prime }}(n),\end{array}$$

并分别评估每个术语。首先,我们计算

$$\begin{array}{rl}\sum _{j=1}^k{\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\sum _{T\subseteq [k]:[T]=j}f(n)& =f(n)\sum _{j=1}^k\left(\genfrac{}{}{0ex}{}{k}{j}\right){\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\\ & =\left(\mathbf{Pr}(\Vert C(x)\Vert =0)-1+\frac{\lambda }{n}\right)\left({\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^k-1\right)\end{array}$$

接下来,我们看到

∑ j = 1 k ( − e − λ k ) j ∑ T ⊆ [ k ] : [ T ] = j ∑ i ∈ T ‾ g i ( n ) = ∑ j = 1 k ( − e − λ k ) j ∑ i ∈ [ k ] g i ( n ) ∣   { T ⊆ [ k ]   :   ∣ T ∣ = j , i ∉ T } = ( ∑ i ∈ [ k ] g i ( n ) ) ∑ j = 1 k ( k − 1 j ) ( − e − λ k ) j = ( ∑ i ∈ [ k ] g i ( n ) ) ( ( 1 − e − λ k ) k − 1 − 1 ) = ( P r ( ∥ C ( x ) ∥ = 1 ) − λ n ) ( ( 1 − e − λ k ) k − 1 − 1 ) , \begin{aligned}\sum_{j=1}^{k}\left(-\mathrm{e}^{-\frac{\lambda}{k}}\right)^{j}\sum_{T\subseteq[k]:[T]=j}\sum_{i\in\overline{T}}g_{i}(n)&=\sum_{j=1}^{k}\left(-\mathrm{e}^{-\frac{\lambda}{k}}\right)^{j}\sum_{i\in[k]}g_{i}(n)|\:\{T\subseteq[k]\::\:|T|=j,i\not\in T\}\\&=\left(\sum_{i\in[k]}g_{i}(n)\right)\sum_{j=1}^{k}\binom{k-1}{j}\left(-\mathrm{e}^{-\frac{\lambda}{k}}\right)^{j}\\&=\left(\sum_{i\in[k]}g_{i}(n)\right)\left(\left(1-\mathrm{e}^{-\frac{\lambda}{k}}\right)^{k-1}-1\right)\\&=\left(\mathbf{Pr}(\|C(x)\|=1)-\frac{\lambda}{n}\right)\left(\left(1-\mathrm{e}^{-\frac{\lambda}{k}}\right)^{k-1}-1\right),\end{aligned} j=1∑k​(−e−kλ​)jT⊆[k]:[T]=j∑​i∈T∑​gi​(n)​=j=1∑k​(−e−kλ​)ji∈[k]∑​gi​(n)∣{T⊆[k]:∣T∣=j,i∈T}= ​i∈[k]∑​gi​(n) ​j=1∑k​(jk−1​)(−e−kλ​)j= ​i∈[k]∑​gi​(n) ​((1−e−kλ​)k−1−1)=(Pr(∥C(x)∥=1)−nλ​)((1−e−kλ​)k−1−1),​

其中我们使用了 $\left(\genfrac{}{}{0ex}{}{k-1}{k}\right)=0$ 的约定。现在,对于最后一个项,我们计算

$$\begin{array}{rl}\sum _{T\subseteq [k]:|T|=j}\sum _{T^{\prime }\subseteq \overline{T}:|T^{\prime }|>1}{h}_{T^{\prime }}(n)& =\sum _{\ell =2}^{k-j}\sum _{T^{\prime }\subseteq [k]:|T^{\prime }|=\ell }{h}_{T^{\prime }}(n)|\left\{T\subseteq [k]:|T|=j,T^{\prime }\subseteq \overline{T}\right\}|\\ & =\sum _{\ell =2}^{k-j}\left(\genfrac{}{}{0ex}{}{k-\ell }{j}\right)\mathrm{Pr}(\Vert C(x)\Vert =\ell ),\end{array}$$

---

所以

$$\begin{array}{rl}\sum _{j=1}^k{\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\sum _{T\subseteq [k]:[T]=j}\sum _{T^{\prime }\subseteq \overline{T}:|T^{\prime }|>1}{h}_{T^{\prime }}(n)& =\sum _{j=1}^k{\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\sum _{\ell =2}^{k-j}\left(\genfrac{}{}{0ex}{}{k-\ell }{j}\right)\mathrm{Pr}(\Vert C(x)\Vert =\ell )\\ & =\sum _{j=1}^k\sum _{\ell =2}^{k-j}{\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\left(\genfrac{}{}{0ex}{}{k-\ell }{j}\right)\mathrm{Pr}(\Vert C(x)\Vert =\ell )\\ & =\sum _{j=1}^k\sum _{r=j}^{k-2}{\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\left(\begin{array}{c}r\\ j\end{array}\right)\mathbf{Pr}(\Vert C(x)\Vert =k-r)\\ & =\sum _{r=1}^{k-2}\sum _{j=1}^r{\left(-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^j\left(\begin{array}{c}r\\ j\end{array}\right)\mathbf{Pr}(\Vert C(x)\Vert =k-r)\\ & =\sum _{r=1}^{k-2}\mathbf{Pr}(\Vert C(x)\Vert =k-r)\sum _{j=1}^r\left(\begin{array}{c}r\\ j\end{array}\right){\left(\begin{array}{c}-{\mathrm{e}}^{-\frac{\lambda }{k}}\end{array}\right)}^j\\ & =\sum _{r=1}^{k-2}\mathbf{Pr}(\Vert C(x)\Vert =k-r)\left({\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^r-1\right)\\ & =\sum _{j=2}^{k-1}\mathbf{Pr}(\Vert C(x)\Vert =j)\left({\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-j}-1\right).\end{array}$$

将项相加得到
$$\begin{array}{rl}\text{M}& =\left(\mathbf{Pr}(\Vert C(x)\Vert =0)-1+\frac{\lambda }{n}\right){\left(1-{\mathbf{e}}^{-\frac{\lambda }{k}}\right)}^k\\ & +\left(\mathbf{Pr}(\Vert C(x)\Vert =1)-\frac{\lambda }{n}\right){\left(1-{\mathbf{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\\ & +\sum _{j=2}^{k-1}\mathbf{Pr}(\Vert C(x)\Vert =j){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-j}\\ & -\left(\mathbf{Pr}(\Vert C(x)\Vert =0)+\mathbf{Pr}(\Vert C(x)\Vert =1)+\sum _{j=2}^{k-1}\mathbf{Pr}(\Vert C(x)\Vert =j)-1\right).\end{array}$$
答案是肯定的
$$-\left(\mathbf{Pr}(\Vert C(x)\Vert =0)+\mathbf{Pr}(\Vert C(x)\Vert =1)+\sum _{j=2}^{k-1}\mathbf{Pr}(\Vert C(x)\Vert =j)-1\right)=\mathbf{Pr}(\Vert C(x)\Vert =k$$
80
$$\begin{array}{rl}\text{M}& =\left(\mathbf{Pr}(\Vert C(x)\Vert =0)-1+\frac{\lambda }{n}\right){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^k\\ & +\left(\mathbf{Pr}(\Vert C(x)\Vert =1)-\frac{\lambda }{n}\right){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\\ & +\sum _{j=2}^{k-1}\mathbf{Pr}(\Vert C(x)\Vert =j){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-j}\\ & +\mathbf{Pr}(\Vert C(x)\Vert =k)\\ & =ϵ(n).\end{array}$$

---

因为
$$\mathbf{Pr}(\mathcal{F})-{\left(1-{\mathrm{e}}^{-\lambda /k}\right)}^k=\mathbf{Pr}(\mathcal{F})-\mathbf{Pr}(\forall i:P_i>0)\sim nM=nϵ(n),$$
结果如下。

不幸的是,我们在本文中讨论的方案通常太混乱,无法普遍应用 Theo rem 6.1;值 $\mathbf{Pr}(\Vert C(x)\Vert =j$ )取决于所使用的哈希函数的具体情况。例如,范围的大小是否为质数会影响 $\mathbf{Pr}(\Vert C(x)\Vert =j]$ 0.结果可以应用于检查特定方案的案例;例如,在分区方案中,当 $m^{\prime }$ 为素数时,$\mathrm{Pr}(\Vert C(x)\Vert =j)=0$ 表示 $j=2,\dots ,k-1$ ,因此表达式变得很容易计算。为了获得一般结果,我们推导出了一些简单的边界,这些边界足以得出一些有趣的结论。

引理 6.1.假设条件与定理 4.1 中的条件相同。此外,假设 fo $x\in S$ ,可以定义事件 $E_0,\dots ,E_{\ell -1}$ 使得
$$\begin{array}{rlr}& I.\mathbf{Pr}(\Vert C(x)\Vert \ge 1)=\mathbf{Pr}\left(\bigcup _{i\in [\ell ]}{E}_i\right)& \\ & 2.\sum _{i\in [\ell ]}\mathbf{Pr}(E_i)=\lambda /n& \\ & 3.\mathbf{Pr}(\Vert C(x)\Vert \ge 2)\le \sum _{i<j\in [\ell ]}\mathbf{Pr}(E_i\cap E_j).& \\ & hen& \\ & n\left[\mathbf{Pr}(\Vert C(x)\Vert \equiv k)-{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\left(1+{\mathrm{e}}^{-\frac{\lambda }{k}}\right)\sum _{i<j\in [\ell ]}\mathbf{Pr}(E_i\cap E_j)\right]& ⩽\mathbf{Pr}(\mathcal{F})-\left(1-{\mathrm{e}}^{-\lambda /k}\right)\\ & & ⩽n\sum _{i<j\in [\ell ]}\mathbf{Pr}(E_i\cap E_j)\end{array}$$

定理中的 Proof.As

6.1

我们定义
$$\begin{array}{rl}ϵ(n)& \stackrel{\mathrm{def}}{=}\left(\mathbf{Pr}(\Vert C(x)\Vert =0)-1+\frac{\lambda }{n}\right){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^k\\ & +\left(\mathbf{Pr}(\Vert C(x)\Vert =1)-\frac{\lambda }{n}\right){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\\ & +\sum _{j=2}^k\mathbf{Pr}(\Vert C(x)\Vert =j){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-j},\end{array}$$
因此
$$\mathbf{Pr}(\mathcal{F})-{\left(1-{\mathrm{e}}^{-\lambda /k}\right)}^k\sim nϵ(n).$$
现在
$$\begin{array}{rlrl}& \text{M}& & \stackrel{\mathrm{def}}{=}\left(\mathbf{Pr}(\Vert C(x)\Vert =0)-1+\frac{\lambda }{n}\right){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^k+\left(\mathbf{Pr}(\Vert C(x)\Vert =1)-\frac{\lambda }{n}\right){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\\ & & & ={\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\left(\left(\mathbf{Pr}(\Vert C(x)\Vert =0)-1+\frac{\lambda }{n}\right)\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)+\left(\mathbf{Pr}(\Vert C(x)\Vert =1)-\frac{\lambda }{n}\right)\right)\\ & & & ={\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}((\mathbf{Pr}(\Vert C(x)\Vert =0)+\mathbf{Pr}(\Vert C(x)\Vert =1)-1)-{\mathrm{e}}^{-\frac{\lambda }{k}}\left((\mathbf{Pr}(\Vert C(x)\Vert =0)-1)+(\mathbf{Pr}(\Vert C(x)\Vert =0)-1)\right)\\ & & & ={\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\left(-\mathbf{Pr}(\Vert C(x)\Vert \ge 2)-{\mathrm{e}}^{-\frac{\lambda }{k}}\left(-\mathbf{Pr}(\Vert C(x)\Vert \ge 2)-\mathbf{Pr}(\Vert C(x)\Vert =1)+\frac{\lambda }{n}\right)\right)\\ & & & =-{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^k\mathbf{Pr}(\Vert C(x)\Vert \ge 2)+{\mathrm{e}}^{-\frac{\lambda }{k}}{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\left(\mathbf{Pr}(\Vert C(x)\Vert =1)-\frac{\lambda }{n}\right)。\end{array}$$

---

特别是,我们有 $M\le 0$,因为

$$\mathbf{Pr}(\Vert C(x)\Vert =1)\le \mathbf{Pr}(\Vert C(x)\Vert \ge 1)=\mathbf{Pr}\left(\bigcup _{i\in [\ell ]}{E}_i\right)\le \sum _{i\in [l]}\mathbf{Pr}(E_i)=\lambda /n.$$

因此

$$ϵ(n)=M+\sum _{j=2}^k\mathbf{Pr}(\Vert C(x)\Vert =j){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-j}\le \mathbf{Pr}(\Vert C(x)\Vert \ge 2)\le \sum _{i<j\in [\ell ]}\mathbf{Pr}(E_i\cap E_j)$$

在困境中建立上限对于下限,我们注意到

$$\begin{array}{rl}\mathbf{Pr}(\Vert C(x)\Vert =1)-\frac{\lambda }{n}& =\mathbf{Pr}(\Vert C(x)\Vert \ge 1)-\mathbf{Pr}(\Vert C(x)\Vert \ge 2)-\frac{\lambda }{n}\\ & =\mathbf{Pr}\left(\bigcup _{i\in [t]}{E}_i\right)-\mathbf{Pr}(\Vert C(x)\Vert \ge 2)-\frac{\lambda }{n}\\ & \ge \sum _{i\in [t]}\mathbf{Pr}(E_i)-\sum _{i<j\in [t]}\mathbf{Pr}(E_i\cap E_j)-\mathbf{Pr}(\Vert C(x)\Vert \ge 2)-\frac{\lambda }{n}\\ & =-\sum _{i<j\in [t]}\mathbf{Pr}(E_i\cap E_j)-\mathbf{Pr}(\Vert C(x)\Vert \ge 2)\\ & \ge -2\sum _{i<j\in [t]}\mathbf{Pr}(E_i\cap E_j),\end{array}$$

所以

$$\begin{array}{rl}\text{M}& =-{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^k\mathbf{Pr}(\Vert C(x)\Vert \ge 2)+{\mathrm{e}}^{-\frac{\lambda }{k}}{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\left(\mathbf{Pr}(\Vert C(x)\Vert =1)-\frac{\lambda }{n}\right)\\ & \ge -{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^k\mathbf{Pr}(\Vert C(x)\Vert \ge 2)-{\mathrm{e}}^{-\frac{\lambda }{k}}{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}2\sum _{i<j\in [\ell ]}\mathbf{Pr}(E_i\cap E_j)\\ & \ge -{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^k\sum _{i<j\in [\ell ]}\mathbf{Pr}(E_i\cap E_j)-{\mathrm{e}}^{-\frac{\lambda }{k}}{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}2\sum _{i<j\in [\ell ]}\mathbf{Pr}(E_i\cap E_j)\\ & =-{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\left(1+{\mathrm{e}}^{-\frac{\lambda }{k}}\right)\sum _{i<j\in [\ell ]}\mathbf{Pr}(E_i\cap E_j).\end{array}$$

因此

$$\begin{array}{rl}ϵ(n)& =\sum _{j=2}^k\mathbf{Pr}(\Vert C(x)\Vert =j){\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-j}+M\\ & \ge \mathbf{Pr}(\Vert C(x)\Vert =k)-{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\left(1+{\mathrm{e}}^{-\frac{\lambda }{k}}\right)\sum _{i<j\in [\ell ]}\mathbf{Pr}(E_i\cap E_j),\end{array}$$

完成证明。

引理 6.1 很容易应用于 5.1 和 5.2 节中讨论的方案

定理 6.2.对于 Section 5.1 中讨论的分区方案

$$\frac{k^2}{c^{2}n}\left[1-{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\left(1+{\mathrm{e}}^{-\frac{\lambda }{k}}\right)\frac{k^3}{2}\right]\lesssim \mathbf{Pr}(\mathcal{F})-{\left(1-{\mathrm{e}}^{-\lambda /k}\right)}^k\lesssim \frac{k^5}{2c^{2}n}$$

证明。我们希望应用引理 6.1.To 为此,我们将 $x固定在S$ 中,对于 $i\in [k]$ ,我们将 $E_i$ 定义为$i\in C(x)$ 中的事件(再次,我们使用定理 4.1 证明中引入的约定,它允许我们将 $H(z)$ 的元素与 $[k]$ 的元素相关联)。然后

$$\mathbf{Pr}(\Vert C(x)\Vert \ge 1)=\mathbf{Pr}\left(\bigcup _{i\in [k]}{E}_i\right).$$

回想一下定理 5.1 的证明,分区方案满足 Theo rem 4.1 的条件,即 $\lambda =k^2/c$ 。此外,(正如我们在定理 5.1 的证明中看到的那样)

$$\begin{array}{r}\sum _{i\in [k]}\mathbf{Pr}(E_i)=\sum _{i\in [k]}\frac{1}{m^{\prime }}=\frac{\lambda }{n}.\end{array}$$

定理 5.1 的证明还告诉我们,对于 $i\ne j\in [k]$

$$\mathbf{Pr}(E_i\cap E_j)\le \frac{k}{(m^{\prime }{)}^2}=\frac{k^3}{c^2{n}^2},$$

所以

$$\mathrm{Pr}(\Vert C(x)\Vert \ge 2)\le \sum _{i<j\in [k]}\mathbf{Pr}(E_i\cap E_j)\le \frac{k^5}{2c^2{n}^2},$$

其中我们使用了(明显的)事实,即每个 $u\in U$ 在分区方案中都分配了 $k$ 个不同的哈希位置。最后,我们注意到 $|如果 $h_1(x)=h_1(z)$ 且 $h_2(x)=h_2(z)$ ,SC

$$\mathbf{Pr}(\Vert C(x)\Vert =k)\ge \frac{1}{(m^{\prime }{)}^2}=\frac{k^2}{c^2{n}^2}.$$

将这些边界代入 Lemma 6.1 的结果中会得到结果。

定理 6.3.对于 Section 5.2 中讨论的双重哈希方案。

$$\frac{1}{c^{2}n}\left[1-{\left(1-{\mathrm{e}}^{-\frac{\lambda }{k}}\right)}^{k-1}\left(1+{\mathrm{e}}^{-\frac{\lambda }{k}}\right)\frac{k^5}{2}\right]\lesssim \mathbf{Pr}(\mathcal{F})-{\left(1-{\mathrm{e}}^{-\lambda /k}\right)}^k\lesssim \frac{k^5}{2c^{2}n}$$

证明。我们希望应用 Lemma 6.1。首先,从定理 5.2 的证明中回想一下,每个双哈希方案都满足定理 4.1 的条件,其中 $\lambda =k^2/c$ 现在修复 $x\in S$ 我们重新引入了定理 5.2 证明中的一些符号。对于 $u\in U$ 和 $i\in [k]$ ,我们定义

$$g_i(u)=h_1(u)+i{h}_2(u)+f(i)$$

(我们继续使用约定,即所有涉及哈希函数 $h_1$ anc $h_2$ 的算术都是以 $7/l$ 为模数完成的)接下来,对于 $i,j\in [k]$ ,我们将 $E_{i,j}$ 定义为 $g_j(x)=g_i(z)$ 的事件。然后

$$\mathbf{Pr}(\Vert C(x)\Vert \ge 1)=\mathbf{Pr}\left(\bigcup _{i,j\in [k]}{E}_{i,j}\right),$$

---

而且,正如我们在定理 5.2 的证明中看到的那样

$$\sum _{i,j\in [k]}\mathbf{Pr}(E_{i,j})=\sum _{i,j\in [k]}\mathbf{Pr}(g_j(x)=g_i(z))=\sum _{i,j\in [k]}\frac{1}{m}=\frac{\lambda }{n}.$$

此外,修复 $[k{]}^2$ 上的任何排序

P r ( ∥ C ( x ) ∥ ≥ 2 ) = P r ( ∃ i 1 , i 2 , j 1 , j 2 ∈ [ k ] : ∀ ℓ ∈ { 1 , 2 } , g j ℓ ( x ) = g i ℓ ( x ) ) = P r ( ⋃ ( i 1 , j 1 ) < ( i 2 , j 2 ) ∈ [ k ] 2 E i 1 , j 1 ∩ E i 2 , j 2 ) ≤ ∑ ( i 1 , j 1 ) < ( i 2 , j 2 ) ∈ [ k ] 2 P r ( E i 1 , j 1 ∩ E i 2 , j 2 ) , \begin{aligned}\mathbf{Pr}(\|C(x)\|\geq2)&=\mathbf{Pr}(\exists i_{1},i_{2},j_{1}, j_{2}\in[k]:\forall\ell\in\{1,2\},g_{j_{\ell}}(x)=g_{i_{\ell}}(x))\\&=\mathbf{Pr}\left(\bigcup_{(i_{1},j_{1})<(i_{2},j_{2})\in[k]^{2}}E_{i_{1},j_{1}}\cap E_{i_{2},j_{2}}\right)\\&\leq\sum_{(i_{1},j_{1})<(i_{2},j_{2})\in[k]^{2}}\mathbf{Pr}(E_{i_{1},j_{1}}\cap E_{i_{2},j_{2}}),\end{aligned} Pr(∥C(x)∥≥2)​=Pr(∃i1​,i2​,j1​,j2​∈[k]:∀ℓ∈{1,2},gjℓ​​(x)=giℓ​​(x))=Pr ​(i1​,j1​)<(i2​,j2​)∈[k]2⋃​Ei1​,j1​​∩Ei2​,j2​​ ​≤(i1​,j1​)<(i2​,j2​)∈[k]2∑​Pr(Ei1​,j1​​∩Ei2​,j2​​),​

所以 Lemma 6.1 的条件得到满足。为了完成证明,我们注意到对于任何 $(i_1,j_1),(i_2,j_2)\in [k^2]$

$$\begin{array}{rl}\mathbf{Pr}(E_{i_1,j_1}\cap E_{i_2,j_2})& =\mathbf{Pr}(g_{j_1}(x)=g_{i_1}(z),g_{j_2}(x)=g_{i_2}(z))\\ & \le \frac{1}{m}\cdot \frac{k}{m}\\ & =\frac{k}{c^2{n}^2},\end{array}$$

其中第二步的计算是在定理 5.2 的证明中完成的。因此

$$\sum _{(i_1,j_1)<(i_2,j_2)\in [k{]}^2}\mathrm{Pr}(E_{i_1,j_1}\cap E_{i_2,j_2})\le \sum _{(i_1,j_1)<(i_2,j_2)\in [k{]}^2}\frac{k}{c^2{n}^2}\le \frac{k^5}{2c^2{n}^2}.$$

最后

$$\mathbf{Pr}(\Vert C(x)\Vert =k)\ge \mathbf{Pr}(h_1(x)=h_1(z),h_2(x)=h_2(z))=\frac{1}{m^2}=\frac{1}{c^2{n}^2}.$$

将这些边界代入 Lemma 6.1 的结果中,得到

还有待研究定理 6.2 和 6.3 中分析的误差项在实践中是否可以忽略不计。回想一下,对于到目前为止考虑的所有方案,渐近假阳性概率为 $(1-\exp [-k/c]{)}^k$ ,与标准 Bloom 滤波器相同。我们希望将这种可能性降至最低。最简单的方法是在给定过滤器大小的特定应用程序约束的情况下最大化 $t$,然后根据 $t$ 的值优化 $k$,这导致设置 $k=c\ln 2$(这是布隆过滤器的标准结果,使用微积分很容易获得;例如,参见 [3l],产生 $2^{-c\ln 2}$ 的渐近假阳性概率应用定理 6.2 和 6.3,我们有,对于所有检查的方案,$k$ 的这个设置会导致
$$\mathbf{Pr}(\mathcal{F})-2^{-c\ln 2}\lesssim \frac{(\ln 2{)}^5}{2}\frac{c^3}{n}\mathrm{as}n\to \infty .$$

我们现在给出一个启发式论点,即上述误差项在实践中可以忽略不计。假设上面的渐近不等式对每 $7l.$ 成立,而不仅仅是在 $Tl\to 0$ 的极限中。然后

对于任何 $ϵ>0$
$$\begin{array}{rl}\mathrm{Pr}(\mathcal{F})-2^{-c\ln 2}\ge ϵ2^{-c\ln 2}& \Rightarrow \frac{(\ln 2{)}^5}{2}\frac{c^3}{n}\ge ϵ2^{-c\ln 2}\\ & \Rightarrow \frac{(\ln 2{)}^5}{2}\frac{c^3}{n}\ge ϵ2^{-c}\\ & \Rightarrow 2^{c+3\ln c}\ge \frac{2nϵ}{(\ln 2{)}^5}\\ & \Rightarrow 2^{2c+1}\ge \frac{2nϵ}{(\ln 2{)}^5}\\ & \Rightarrow c\ge \frac{1}{2}{\log }_2\left(\frac{nϵ}{(\ln 2{)}^5}\right).\end{array}$$
第一步是唯一的非严格步骤,它基于以下假设:上述渐近不等式对于每个 $TL $ 成立。第二步成立,因为 $\ln 2<1$ ,第三步是简单代数,第四步是从 $3\ln c<c+1$ 对于所有 $C>0$ 的事实,第五步也是简单代数。从这个启发式论点中,我们得出结论,除非 $c\gtrsim {\log }_{2}n$ ,否则上面分析的渐近误差项可以忽略不计。但是,在这些情况下,使用哈希表或指纹可能比使用 Bloom 过滤器更合适(例如,请参见 [12, Section 5.5])。