【中文翻译】第3章(3/3)-The Algorithmic Foundations of Differential Privacy

为方便阅读，故将《The Algorithmic Foundations of Differential Privacy》翻译项目内容搬运至此；

教材原文地址：https://www.cis.upenn.edu/~aaroth/Papers/privacybook.pdf

中文翻译版 Github 项目地址1：https://github.com/guoJohnny/algorithmic-foundation-of-dp-zh-cn

中文翻译版 Github 项目地址2：https://github.com/doubleheiker/algorithmic-foundation-of-dp-zh-cn

感谢前辈的翻译工作！

3.6 稀疏向量技术

拉普拉斯机制可用于回答自适应选择的低敏感度查询，并且从我们的合成定理中我们知道，隐私参数与所回答的查询数量（或其平方根）成比例地降低。不幸的是，经常会发生我们有大量问题要回答的问题，即使使用 3.5节 中的高级合成定理，也有太多问题无法使用独立的扰动技术来提供合理的隐私保证。但是，在某些情况下，我们只会关心知道高于某个阈值的查询的标识。在这种情况下，我们希望通过放弃对明显低于阈值的查询的数字答案，而仅报告这些查询确实低于阈值，从而获得本质的分析。（如果我们这样选择的话，我们也将能够获得阈值以上查询的数字值，而只需花费额外的费用）。这类似于我们在3.3节中的“Report Noisy Max”机制中所做的事情，实际上，对于非交互式或脱机情况，可以选择迭代该算法或指数机制。

在本节中，我们显示如何在在线设置中分析此方法。该技术很简单：添加噪音并仅报告噪声值是否超过阈值。本节中，我们的重点是分析隐私只会随着实际高于阈值的查询数量而降低，而不会随着查询总数的增加而降低。如果我们知道位于阈值以上的查询集比查询总数小得多（也就是说，如果答案向量稀疏的话），那么将可以大量节省（隐私参数）。

更详细地讲，我们将考虑一系列事件（每个查询一个），如果在数据库上评估的查询超过给定（已知的、公共的）阈值，则会发生这些事件。我们的目标是释放一个位向量，以指示每个事件是否已发生。在提出每个查询时，该机制将计算一个噪声响应，并将其与（众所周知的）阈值进行比较，如果超过了该阈值，则将揭示此事实。由于隐私证明（定理3.24）中的技术原因，该算法适用于阈值 $T$ 的噪声版本 $\hat{T}$。虽然 $T$ 是公开的，但噪声版本 $\hat{T}$ 不是。

并非对每个可能的查询都造成隐私损失，后文的分析将仅针对接近或高于阈值的查询值导致隐私损失。

设置 设 $m$ 表示灵敏度为 1 的查询总数，可以自适应地选择。在不丧失通用性的情况下，有一个预先固定的阈值 $T$（或者每个查询可以有自己的阈值，但结果不变）。我们将在查询值中添加噪声，并将结果与 $T$ 进行比较。正向的结果意味着噪声查询值超过了阈值。我们期望 $c$ （少量）个噪声值超过阈值，并且我们只释放高于阈值的噪声值。算法将 $c$ 用作其停止条件。

我们将首先分析在超过阈值查询的 $c=1$ 之后算法停止的情况，并表明无论查询的总序列有多长，该算法都是 $\epsilon$-差分隐私的。然后利用我们的合成定理分析 $c>1$ 的情形，并推导出 $(\epsilon ,0)$ 和$(\epsilon ,\delta )$-差分隐私的界。

3.6 稀疏向量算法：高于阈值算法

我们首先论证了 AboveThreshold 算法是私有的，并且是准确的，该算法专门针对一个高于阈值的查询。

（注：上面算法中 $\perp$ 为永假含义; $\top$ 为永真含义。根据上章节描述，个人理解其含义应为：$\top$ 释放回答，$\perp$ 拒绝回答）

定理 3.23 AboveThreshold 算法是 $(\epsilon ,0)$- 差分隐私的。

【证明】 固定任意两个相邻数据库 $D$ 和 $D^{\prime }$。设 $A$ 为表示 AboveThreshold算法 $(D,f_i,T,\epsilon )$ 输出的随机变量，设 $A^{\prime }$ 为表示 AboveThreshold算法 $(D^{\prime },f_i,T,\epsilon )$ 输出的随机变量。算法的输出是这些随机变量的一些实现，即： a ∈ { ⊥ , ⊤ } k a \in \{\bot,\top\}^k a∈{⊥,⊤}k，其形式是对于所有的 $i<k,a_i=\perp ,a_k=\top$ 。算法内部有两种类型的随机变量：噪声阈值 $\hat{T}$ 和对 $k$ 个查询的扰动 { ν i } i = 1 k \{\nu_i\}_{i=1}^k {νi​}i=1k​。在下面的分析中，我们将固定（任意的）${\nu }_1,...,{\nu }_{k-1}$ 的值。并且 ${\nu }_k$ 和 $\hat{T}$ 具有随机性。定义以下量，该量代表在 $D$ 上估计任何查询 $f_1,...,f_{k-1}$ 的最大噪声值：

$$g(D)=\underset{i<k}{\max }(f_i(D)+{\nu }_i)$$

在下文中，我们将滥用表示法，将 $\text{Pr}[\hat{T}=t]$ 写为 $\hat{T}$ 在 $t$ 处的概率密度函数的简写（${\nu }_k$ 也类似这样的表示），并写 $1[x]$ 表示事件 $x$ 的指示函数${}^{<1>}$。注意固定 ${\nu }_i,...,{\nu }_{k-1}$ 的值（这使 $g(D)$ 为确定量），我们有：

$$\begin{array}{rl}\underset{\hat{T},{\nu }_k}{\mathrm{Pr}}[A=a]& =\underset{\hat{T},{\nu }_k}{\mathrm{Pr}}[\hat{T}>g(D)\text{and}{f}_k(D)+{\nu }_k>\hat{T}]\\ & =\underset{\hat{T},{\nu }_k}{\mathrm{Pr}}[\hat{T}\in (g(D),f_k(D)+{\nu }_k]]\\ & ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\text{Pr}[{\nu }_k=v]\\ & \cdot \text{Pr}[\hat{T}=t]1[t\in (g(D),f_k(D)+v]]dvdt\\ & =\ast \end{array}$$

我们现在对变量做一些变换，定义：

$$\begin{array}{rl}\hat{v}& =v+g(D)-g(D^{\prime })+f_k(D^{\prime })-f_k(D)\\ \hat{t}& =t+g(D)-g(D^{\prime })\end{array}$$

注意，对于任何 $D,D^{\prime }$，有 $|\hat{v}-v|\le 2,|\hat{t}-t|\le 1$ 。这是因为每个查询 $f_i(D)$ 的敏感度都是 $1$ 的，因此量 $g(D)$ 的敏感度也是 $1$ 。应用变量的这种变化，我们有：

$$\begin{array}{rl}\ast & ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\text{Pr}[{\nu }_k=\hat{v}]\cdot \text{Pr}[\hat{T}=\hat{t}]1[(t+g(D)-g(D^{\prime }))\\ & \in (g(D),f_k(D^{\prime })+v+g(D)-g(D^{\prime }]]dvdt\\ & ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\text{Pr}[{\nu }_k=\hat{v}]\cdot \text{Pr}[\hat{T}=\hat{t}]1[t\in (g(D^{\prime }),f_k(D^{\prime })+v]]dvdt\\ & \le {\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }\exp (\epsilon /2)\text{Pr}[{\nu }_k=v]\\ & \cdot \exp (\epsilon /2)\text{Pr}[\hat{T}=t]1[t\in (g(D^{\prime }),f_k(D^{\prime })+v]]dvdt\\ & =\exp (\epsilon )\underset{\hat{T},{\nu }_k}{\mathrm{Pr}}[\hat{T}>g(D^{\prime })\text{and}{f}_k(D^{\prime })+{\nu }_k>\hat{T}]\\ & =\exp (\epsilon )\underset{\hat{T},{\nu }_k}{\mathrm{Pr}}[A^{\prime }=a]\end{array}$$

不等式来自 $|\hat{v}-v|$ 和 $|\hat{t}-t|$的界，以及 Laplace 分布的概率密度函数。

【定理 3.23 证毕】

【补充：对上述证明过程中的不等式步骤拓展解释。由 Laplace 分布概率密度函数（ $v$ 的尺度参数为 $4/\epsilon$）可知：

$$\begin{array}{rl}\text{Pr}[{\nu }_k=\hat{v}]& =\frac{1}{2\cdot \frac{4}{\epsilon }}\exp (-\frac{|\hat{v}|}{4/\epsilon })\\ \text{Pr}[{\nu }_k=v]& =\frac{1}{2\cdot \frac{4}{\epsilon }}\exp (-\frac{|v|}{4/\epsilon })\end{array}$$

由于 $|\hat{v}-v|\le 2$，并且由绝对值不等式，可以作出如下推导：

$$\begin{array}{rl}\frac{\text{Pr}[{\nu }_k=\hat{v}]}{\text{Pr}[{\nu }_k=v]}& =\exp \left(\frac{|v|-|\hat{v}|}{\frac{4}{\epsilon }}\right)\\ & \le \exp \left(\frac{|v-\hat{v}|}{\frac{4}{\epsilon }}\right)\\ & \le \exp \left(\frac{2}{\frac{4}{\epsilon }}\right)\\ & =\exp \left(\frac{\epsilon }{2}\right)\\ ⟹\text{Pr}[{\nu }_k=\hat{v}]& \le \exp \left(\frac{\epsilon }{2}\right)\cdot \text{Pr}[{\nu }_k=v]\end{array}$$

同样的方法应用于 $\hat{T}$ 上，其 Laplace 分布的尺度参数为 $2/\epsilon$，且 $|\hat{t}-t|\le 1$

】

（译者注<1> 指示函数：是定义在某集合 $X$ 上的函数，表示其中有哪些元素属于某一子集 $A$。集合 $X$ 的子集 $A$ 的指示函数是函数 1 A : X → { 0 , 1 } \mathbf{1}_{A}:X\to \lbrace 0,1\rbrace 1A​:X→{0,1}，定义为：

$$1_A(x)=\{\begin{array}{ll}1& \text{if}x\in A,\\ 0& \text{if}x\notin A.\end{array}$$

详见：指示函数定义
）

定义3.9（准确度） 一个算法它的应答流 a 1 , . . . , ∈ { ⊤ , ⊥ } ∗ a_1,...,\in \{\top,\bot\}^{*} a1​,...,∈{⊤,⊥}∗ 作为对 $k$ 个查询流 $f_1,...,f_k$ 的响应。如果除了概率最大为 $\beta$ 之外，这个算法在 $f_k$ 之前不停止，并且对于所有 $a_i=\top$ 有：
$$f_i(D)\ge T-\alpha$$
对于所有 $a_i=\perp$ 有：
$$f_i(D)\le T+\alpha$$
那么，我们称这个算法对于阈值 $T$ 是 $(\alpha ,\beta )$ -准确的。

算法1 可能出什么问题？噪声阈值 $\hat{T}$ 可能离 $T$ 很远，例如 $|\hat{T}-T|\ge \alpha$。 另外，小的 $f_i(D)<T-\alpha$ 可能会添加大量噪声，以至于报告为高于阈值（即使阈值接近正确），而大 $f_i(D)>T+\alpha$ 可能报告为低于阈值。所有这些都以 $\alpha$ 的指数形式发生，概率很小。总而言之，我们在选择噪声阈值时可能会遇到问题，或者在一个或多个单独的噪声值 ${\nu }_i$ 中可能会遇到这种问题。当然，我们可能同时存在两种错误。因此在下面的分析中，我们为每种类型分配 $\alpha /2$。

（个人理解：AboveThreshold 中需要向阈值 $T$ 和扰动 ${\nu }_k$ 添加 Laplace 噪声。根据 Laplace 分布的特点（下图）：

可以看出，算法会以小概率对阈值和扰动添加过大的噪声。如图的左右两侧。这就会造成上文提到的 “噪声阈值 $\hat{T}$ 可能离 $T$ 很远，例如 $|\hat{T}-T|\ge \alpha$”。同样，对扰动的噪声也可能过大。这样就导致，即使 $\hat{T}$ 与 $T$ 接近的情况下，造成小值回答（不允许释放）超过阈值被释放；大值回答（允许释放）小于阈值被拒绝。由于 AboveThreshold 会出现这两种错误，进而不满足 定义3.9 的规定。所以对于这两种错误情况，下面定理为噪声阈值 $\hat{T}$ 和 扰动 ${\nu }_k$ 各分配 $\alpha /2$ 的界。并将概率上界 $\beta$ 和噪声取之范围 $\alpha$ 关联起来，使得 AboveThreshold 算法不会出现两种错误情况，进而满足 定义3.9 的规定。
）

定理 3.24 对于 $k$ 个查询的任何序列，$f_1,...,f_k$ 使得 ∣ { i < k : f i ( D ) ≥ T − α } ∣ = 0 |\{i<k:f_i(D)\geq T - \alpha\}|=0 ∣{i<k:fi​(D)≥T−α}∣=0（即，唯一接近阈值以上的查询是最后一个），当：

$$\alpha =\frac{8(\log k+\log (2/\beta ))}{\epsilon }$$

AboveThreshold 算法 $(D,f_i,T,\epsilon )$ 是 $(\alpha ,\beta )$-准确的：

【证明】 如果我们能够证明除概率最大为 $\beta$ 以外，当:

$$\underset{i\in [k]}{\max }|{\nu }_i|+|T-\hat{T}|\le \alpha (\ast )$$

时，由观察易得该定理。

如果是这样的情况，那么对于任意 $a_i=\top$，有：

$$f_i(D)+{\nu }_i\ge \hat{T}\ge T-|T-\hat{T}|(1)$$

进一步推导：

$$f_i(D)\ge T-|T-\hat{T}|-|{\nu }_i|\ge T-\alpha (2)$$

同样的，对于任意 $a_i=\perp$，有：

$$f_i(D)\le \hat{T}\le T+|T-\hat{T}|+|{\nu }_i|\le T+\alpha$$

我们将会有对于任意 $i<k:f_i(D)<T-\alpha <T-|{\nu }_i|-|T-\hat{T}|$。所以： $f_i(D)+{\nu }_i\le \hat{T}$，即：$a_i=\perp$。因此，算法在第 k 个查询被回答前不会停止。

我们现在完成证明。回忆一下 事实3.7，当 $Y\backsim Lap(b)$ 时，$\text{Pr}[|Y|\ge t\cdot b]=\exp (-t)$，算法中 $\hat{T}$ 的尺度参数 $b=2/\epsilon$ 因此我们有：

$$\text{Pr}[|T-\hat{T}|\ge \frac{\alpha }{2}]=\exp (-\frac{\epsilon \alpha }{4})$$

由定理设定最大概率为 $\beta /2$，我们可以得知：$\alpha \ge \frac{4\log (2/\beta )}{\epsilon }$
。

同样，由 布尔不等式，且算法中 ${\nu }_k$ 的尺度参数 $b=4/\epsilon$可知：

$$\text{Pr}[\underset{i\in [k]}{\max }|{\nu }_i|\ge \alpha /2]\le k\cdot \exp (-\frac{\epsilon \alpha }{8})$$

由定理设定最大概率为 $\beta /2$，我们可以得知：$\alpha \ge \frac{8\log (2/\beta )+\log k}{\epsilon }$
。

这两个推导共同证明了该定理。

【定理 3.24 证毕】

【补充(1)式：在 AboveThreshold 算法中，当 $a_i=\top ,f_i(D)+{\nu }_i\ge \hat{T}$，$|T-\hat{T}|$ 为 Laplace 噪声，故阈值必然大于等于其下界 $T-|T-\hat{T}|$ 】

【补充(2)式：由 $(\ast )$ 可以推得：

$$\begin{array}{rl}\underset{i\in [k]}{\max }|{\nu }_i|+|T-\hat{T}|& \le \alpha \\ ⟹|{\nu }_i|+|T-\hat{T}|& \le \underset{i\in [k]}{\max }|{\nu }_i|+|T-\hat{T}|\le \alpha \\ ⟹-|{\nu }_i|-|T-\hat{T}|& \ge -\alpha \\ ⟹T-|{\nu }_i|-|T-\hat{T}|& \ge T-\alpha \end{array}$$

】

3.6.1 稀疏算法

现在，我们展示如何使用合成技术处理多个“高于阈值”的查询。

稀疏算法可以认为是：当查询进入时，它会反复调用 AboveThreshold。 每次报告高于阈值的查询后，该算法仅在 AboveThreshold 的新实例上重新启动剩余的查询流。在重新启动AboveThreshold $c$ 次之后停止（即在出现 $c$ 个高于阈值的查询之后）。 由于 AboveThreshold 的每个实例都是$(\epsilon ,0)$- 差分隐私的，因此适用合成定理。

定理 3.25 稀疏算法是 $(\epsilon ,\delta )$-差分隐私的。

【证明】 我们发现到 Sparse 算法完全等同于以下过程：我们对查询流 { f i } \{f_i\} {fi​} 运行 AboveThreshold 算法 ( D , { f i } , T , ε ′ ) (D,\{f_i\},T,\varepsilon') (D,{fi​},T,ε′)，并设置：

$${\epsilon }^{\prime }=\{\begin{array}{ll}\frac{\epsilon }{c}& \text{if }\delta =0;\\ \frac{\epsilon }{\sqrt{8c\ln \frac{1}{\delta }}}& \text{Otherwise.}\end{array}$$

使用 AboveThreshold 算法提供答案。当 AboveThreshold 算法停止时（在回答了1个超过阈值的查询之后），我们只需在剩余的查询流上重新启动 Sparse算法 ( D , { f i } , T , ε ′ ) (D,\{f_i\},T,\varepsilon') (D,{fi​},T,ε′) ，并继续这个过程直到我们重新启动 AboveThreshold 算法 $c$ 次。第 $c$ 次 AboveThreshold 算法停止后，Sparse算法 也停止。我们已经证明了AboveThreshold 算法 ( D , { f i } , T , ε ′ ) (D,\{f_i\},T,\varepsilon') (D,{fi​},T,ε′) 是$({\epsilon }^{\prime },0)$-差分隐私的。最后，根据高级合成定理（定理 3.20 和 推论 3.21），$c$ 个
${\epsilon }^{\prime }=\frac{\epsilon }{\sqrt{8c\ln \frac{1}{\delta }}}$-差分隐私算法的合成是 $(\epsilon ,\delta )$ -差分隐私，并且 $c$ 个 ${\epsilon }^{\prime }=\epsilon /c$- 差分隐私算法的合成是 $(\epsilon ,0)$ -差分隐私。

需要证明 包含 $c$ 个 AboveThreshold 算法 的 Sparse 算法的准确性。我们注意到，如果对于每个 AboveThreshold 算法 $(\alpha ,\beta /c)$ 精确的，那么 Sparse 算法将是 $(\alpha ,\beta )$ 精确的。

【定理 3.25 证毕】

定理 3.26 对于 k 个查询的任何序列，$f_1,...,f_k$ 使得 L ( T ) ≡ ∣ { i : f i ( D ) ≥ T − α } ∣ ≤ c L(T)\equiv|\{i:f_i(D)\geq T - \alpha\}|\leq c L(T)≡∣{i:fi​(D)≥T−α}∣≤c。如果 $\delta >0$，当：

$$\alpha =\frac{(\ln k+\ln \frac{2c}{\beta })\sqrt{512c\ln \frac{1}{\delta }}}{\epsilon }$$

Sparse 算法是 $(\alpha ,\beta )$ 精确的。

如果 $\delta =0$，当：

$$\alpha =\frac{8x(\ln k+\ln (2c/\beta ))}{\epsilon }$$

Sparse 算法是 $(\alpha ,\beta )$ 精确的。

【证明】 运用 定理3.24 的证明方法，将 $\beta$ 设为$\beta /c$，并分别根据 $\delta >0$ 或 $\delta =0$ 将 $\epsilon$ 设为 $\frac{\epsilon }{\sqrt{8c\ln \frac{1}{\delta }}}$ 和 $\epsilon /c$ 即可。

3.6.3 数值稀疏算法

最后，我们给出了 Sparse 算法的一个版本，它实际上输出了高于阈值查询的数值，我们只需要在精度上损失一个常数因子就可以做到这一点。我们称这种算法为 NumericSparse，它是一种简单的使用 Laplace 机制组成的 Sparse 算法。它不是输出向量 a ∈ { ⊤ , ⊥ } ∗ a \in \{\top,\bot\}^* a∈{⊤,⊥}∗ ，而是输出向量 a ∈ ( R ∪ { ⊥ } ) ∗ a \in (\mathbb{R} \cup \{\bot\})^* a∈(R∪{⊥})∗。

我们发现 NumericSparse 算法是具有隐私性的：

定理 3.27 NumericSparse 算法是$(\epsilon ,\delta )$- 差分隐私的。

【证明】 我们发现，如果$\delta =0$，则NumericSparse算法 ( D , { f i } , T , c , ε , 0 ) (D,\{f_i\},T,c,\varepsilon,0) (D,{fi​},T,c,ε,0) 就是 Sparse 算法 ( D , { f i } , T , c , 8 9 ε , 0 ) (D,\{f_i\},T,c,\frac{8}{9}\varepsilon,0) (D,{fi​},T,c,98​ε,0) 的自适应组合，其中输出具体数值使用了具有隐私参数 $({\epsilon }^{\prime },\delta )=(\frac{1}{9}\epsilon ,0)$ 的 Lapalace 机制。如果 $\delta >0$，则 NumericSparse 算法 ( D , { f i } , T , c , ε , δ ) (D,\{f_i\},T,c,\varepsilon,\delta) (D,{fi​},T,c,ε,δ) 是 Sparse 算法 ( D , { f i } , T , c , 512 512 + 1 ε , δ / 2 ) (D,\{f_i\},T,c,\frac{\sqrt{512}}{\sqrt{512}+1}\varepsilon,\delta/2) (D,{fi​},T,c,512 ​+1512 ​​ε,δ/2) 的自适应组合， 其中输出具体数值使用了具有隐私参数 $({\epsilon }^{\prime },\delta )=(\frac{1}{\sqrt{512}}\epsilon ,\delta /2)$ 的 Lapalace 机制。
因此，NumericSparse 算法的隐私来自简单的组合。

【定理 3.27 证毕】

要讨论准确性，我们必须定义一种机制的准确性，这是指响应一系列数值查询而输出流 a ∈ ( R ∪ { ⊥ } ) ∗ a \in (\mathbb{R} \cup \{\bot\})^* a∈(R∪{⊥})∗ 的含义：

定义3.10（数值精度） 一个响应 $k$ 个查询流 $f_1,...,f_k$ 并输出应答流 a 1 , . . . , ∈ ( R ∪ { ⊥ } ) ∗ a_1,...,\in(\mathbb{R} \cup \{\bot\})^* a1​,...,∈(R∪{⊥})∗ 的算法，如果除概率最大为 $\beta$ 之外，算法不会在 $f_k$ 之前停止，并且对于所有 $a_i\in \mathbb{R}$ 有：

$$|f_i(D)-a_i|\le \alpha$$

对于所有 $a_i=\perp$，有：

$$f_i(D)\le T+\alpha$$

则这个算法是相对于阈值 $T$ 的 $(\alpha ,\beta )$ 准确。

定理 3.28。 对于 $k$ 个查询的任何序列 $f_1,...f_k$ 使得 L ( T ) ≡ ∣ { i : f i ( D ) ≥ T − α } ∣ ≤ c L(T)\equiv|\{i:f_i(D)\geq T-\alpha\}|\leq c L(T)≡∣{i:fi​(D)≥T−α}∣≤c ，如果 $\delta >0$，当：

$$\alpha =\frac{(\ln k+\ln \frac{4c}{\beta })\sqrt{c\ln \frac{2}{\delta }}(\sqrt{512}+1)}{\epsilon }$$

NumericSparse 算法是相对于阈值 $T$ 的 $(\alpha ,\beta )$ 准确的。

如果 $\delta =0$，当：

$$\alpha =\frac{9c(\ln k+\ln (4c/\beta ))}{\epsilon }$$

NumericSparse 算法是相对于阈值 $T$ 的 $(\alpha ,\beta )$ 准确的。

【证明】 精度需要两个条件：首先，对于所有 $a_i=\perp :f_i(D)\le T$： Sparse 准确定理以 $1-\beta /2$ 概率成立。另外，对于所有 $a_i\in \mathbb{R}$ ，它要求 $|f_i(D)-a_i|\le \alpha$ 。 这通过 Laplace 机制的精度以 $1-\beta /2$ 概率成立。

【定理 3.28证毕】

我们到底显示了什么？如果给我们一系列查询，并保证只有最多 $c$ 个答案的答案高于 $T+\alpha$，我们就可以回答高于给定阈值 $T$ 的那些查询，直至误差 $\alpha$。如果我们事先知道进行这些高于阈值查询的身份，并使用拉普拉斯机制进行回答，那么在给定相同的隐私保证的情况下，此精度等于（等于常数和$\log k$）。也就是说，稀疏向量技术允许我们几乎“免费”地辨别这些大型查询的身份，只为这些不相关的查询进行对数精度的响应。这种算法与另一种形式（通过指数机制找到造成隐私损失大的查询，然后通过拉普拉斯机制响应这些查询）提供相同的保证。然而，这个稀疏向量算法运行起来很简单，而且最关键的是，它允许我们自适应地选择查询。

参考文献

Randomized Response is due to Warner [84] (predating differential privacy by four decades!). The Laplace mechanism is due to Dwork et al. [23]. The exponential mechanism was invented by McSherry and Talwar [60]. Theorem 3.16 (simple composition) was claimed in [21]; the proof appearing in Appendix B is due to Dwork and Lei [22];
McSherry and Mironov obtained a similar proof. The material in Sec-tions 3.5.1 and 3.5.2 is taken almost verbatim from Dwork et al. [32].\text{Pr}ior to [32] composition was modeled informally, much as we did for the simple composition bounds. For specific mechanisms applied on a single database, there are “evolution of confidence” arguments due to
Dinur, Dwork, and Nissim [18, 31], (which pre-date the definition of differential privacy) showing that the privacy parameter in k-fold com- √k position need only deteriorate like k if we are willing to tolerate a (negligible) loss in δ (for k < 1/ε2). Theorem 3.20 generalizes those arguments to arbitrary differentially private mechanisms.The claim that without coordination in the noise the bounds in the composition theorems are almost tight is due to Dwork, Naor, and Vadhan [29]. The sparse vector technique is an abstraction of a tech- nique that was introduced, by Dwork, Naor, Reingold, Rothblum, and Vadhan [28] (indicator vectors in the proof of Lemma 4.4). It has subsequently found wide use (e.g. by Roth and Roughgarden [74], Dwork, Naor, Pitassi, and Rothblum [26], and Hardt and Rothblum [44]). In our presentation of the technique, the proof of Theorem 3.23 is due to Salil Vadhan.

---

目录导航

第1章：https://blog.csdn.net/AdamCY888/article/details/146454841
第2章:https://blog.csdn.net/AdamCY888/article/details/146455093
第3章(1/3):https://blog.csdn.net/AdamCY888/article/details/146455756
第3章(2/3):https://blog.csdn.net/AdamCY888/article/details/146455796
第3章(3/3):https://blog.csdn.net/AdamCY888/article/details/146455328
第4章:https://blog.csdn.net/AdamCY888/article/details/146455882
第5章:https://blog.csdn.net/AdamCY888/article/details/146456100
第6章(1/2):https://blog.csdn.net/AdamCY888/article/details/146456712
第6章(2/2):https://blog.csdn.net/AdamCY888/article/details/146456972
第7章:https://blog.csdn.net/AdamCY888/article/details/146457037
第8章:https://blog.csdn.net/AdamCY888/article/details/146457172
第9章:https://blog.csdn.net/AdamCY888/article/details/146457257
第10章:https://blog.csdn.net/AdamCY888/article/details/146457331
第11章:https://blog.csdn.net/AdamCY888/article/details/146457418
第12章:https://blog.csdn.net/AdamCY888/article/details/146457489
第13章(含附录):https://blog.csdn.net/AdamCY888/article/details/146457601