TAPAS：一个用于合成数据对抗隐私审计的工具箱

storyteller_qzx

已于 2024-12-10 14:30:35 修改

阅读量1.2k

点赞数 10

文章标签：论文阅读

于 2024-10-14 10:51:36 首次发布

本文链接：https://blog.csdn.net/storyteller_qzx/article/details/142816093

版权

摘要

大规模收集的个人数据有望改善决策过程并加速创新。然而，分享和使用这些数据会引发严重的隐私问题。一种有前景的解决方案是生成合成数据，即用人工记录代替真实数据进行共享。由于合成记录与真实个人没有直接关联，直观上这可以防止传统的重识别攻击。然而，这并不足以完全保护隐私。我们在此介绍了TAPAS，一个用于评估合成数据隐私的攻击工具箱，涵盖广泛的场景。这些攻击包括对现有工作的推广以及新的攻击方式。我们还提出了一个通用框架，用于分析合成数据的隐私威胁，并通过多个实例展示了TAPAS的应用。

1.引言

合成数据生成是一项有前景的技术，它能够在保护用户隐私的同时，使得访问敏感数据和加速机器学习成为可能，因此受到了研究界和工业界的广泛关注。其关键思想是生成和共享在语义上在统计上可能是准确的人工数据集，而不是使用真实数据。虽然这样看着能够保护个人隐私，但合成记录并不意味着自动的隐私保护。

除了大型模型可能记住真实记录的明显缺陷外，重现原始数据的许多统计特征可能会使重建攻击成为可能[1, 2]。此外，在某些情况下，动机明确的攻击者可能仅凭合成数据就能推断出关于真实记录的敏感信息[3]。对抗性评估是一种有前景的隐私评估方法，它能够考虑到广泛的潜在攻击者，包括对真实数据集和合成数据生成算法的不同了解程度，以及不同的攻击目标。然而，现有的攻击通常限于一个特定的威胁模型，范围有限。

在本文中，我们提出了TAPAS，这是一个用于评估合成数据生成器的隐私的工具箱。我们首先提出了一个威胁建模框架，用于定义隐私攻击。该框架建模了广泛的攻击者背景知识和目标，允许进行上下文感知的隐私分析。其次，我们描述了TAPAS中实现的攻击库。最后，我们展示了TAPAS的隐私评估，将我们的工具箱应用于多个攻击场景和生成器。我们还强调了当前实证隐私评估研究中的空白。该工具箱是开源的，其代码可在https://github.com/alan-turing-institute/privacy-sdg-toolbox上获取。

2.背景

2.1 生成合成数据

设 X为一组潜在的记录， $D=\cup _{N\in \mathbb{N}\cup \left \{ 0 \right \}}X^{N}$ 为从X中取出的有限集合（可以重复）。一个合成数据生成模型（简称 SDG 或生成器）是一个随机函数 $G:\Omega \times D\rightarrow D$ ，它将一个（真实的）数据集 $D^{(r)}\in D$ 作为输入，并生成一个合成数据集 $D^{(s)}= G(D^{(r)})$ 。其目标是使合成数据 $D^{(s)}= G(D^{(r)})$ 能够在给定的数据科学任务中作为真实数据 $D^{(r)}$ 的有用替代，同时不暴露 $D^{(r)}$ 中的敏感信息。生成器通常分为两个步骤进行操作：训练步骤和采样步骤。训练步骤中，一个参数 $\theta \in \Theta$ 根据 $D^{(r)}$ 进行调整；采样步骤中，合成记录从一个关于X的分布 $p_{\theta }$ 中独立同分布（i.i.d.）地进行采样。

2.2 合成数据的隐私攻击

对抗性方法可以评估合成数据的隐私性，作为对正式隐私保证的替代或补充。Stadler 等人【3】提出了一种基于影子建模的针对合成数据的黑盒攻击。Lu 等人【4】和 Yale 等人【5】通过评估合成数据与真实数据之间的距离来评估隐私性。在某些情况下，针对其他隐私增强技术的攻击也可以适用于合成数据，包括生成对抗网络（GANs）【6，7】。通常，生成器在生成合成数据时会使用真实数据的聚合统计信息。在这种情况下，针对聚合统计数据的攻击同样适用，如【8，9，10】。对抗性方法有三个关键优势：

错误检测：攻击可以利用理论上安全机制中的漏洞（例如，泄露的类别【3】）；
上下文感知：攻击可以结合假设攻击者已知信息和攻击者试图获取的信息；
跨模型比较：生成器可以有效比较，而不需要可比的或严格的正式隐私保证。

2.3 差分隐私

一种常见的隐私保护方法可以确保生成器满足正式的隐私保证，比如差分隐私（DP），由 Dwork 等人提出【11】。差分隐私适用于随机机制 $M:D\rightarrow S$ ，要求当数据集略有不同（相差一条记录时），由M诱导的分布应接近。更准确地说，定义两个数据集为邻居（记为“ $\cong$ ”），如果它们仅在增加或删除一条记录时有所不同。

定义1（差分隐私）：一个随机机制 $M: D \times \Omega \to S$ 对数据集提供 $(\epsilon, \delta)$ -差分隐私，如果对于所有相邻数据集 $d \cong d' \in D$ 和所有 $s \subset S$ ，满足：

$P[M(d) \in s] \leq e^\epsilon P[M(d') \in s] + \delta$

其中参数ε被称为隐私预算。较小的ε意味着更强的隐私保护，但通常也意味着机制的效用较低。差分隐私的一个重要特性是后处理性质：如果M是 $(\epsilon, \delta)$ -DP，那么对于任何随机操作 $F: \Omega \times O \to O'$ ，复合操作 $F \circ M$ 也是 $(\epsilon, \delta)$ -DP。因此，任何对输出的操作都无法“破坏”隐私保证。

差分隐私能够抵抗成员推断攻击（membership inference attacks），即攻击者试图推断目标记录X是否在数据集 $D^{(r)}$ 中。假设攻击者试图区分 $D^{(r)} = d$ 和 $D^{(r)} = d' = d \cup \{x\}$ 这两种情况，Kairouz 等人【12】展示了攻击者的真实正率和假阳性率之间的权衡，这甚至适用于最坏情况下的攻击模型，即目标记录X和数据集 $d = D^{(r)} \setminus \{x\}$ 是已知的。

定理1【12】：设 $M: \Omega \times D \to O$ 满足 $(\epsilon, \delta)$ -差分隐私，且 $d, d' \in D$ 是邻居数据集 $(d \cong d')$ 。那么，对于任何随机攻击者 $A: \Omega \times O \to \{d, d'\}$ ，满足：

$e^\epsilon \geq \max \left( \frac{T_{\text{PA}} - \delta}{F_{\text{PA}}}, \frac{1 - F_{\text{PA}} - \delta}{1 - T_{\text{PA}}} \right)$

其中 $T_{\text{PA}} = P[A(M(d)) = d]$ 和 $F_{\text{PA}} = P[A(M(d')) = d]$ 分别是真阳性率和假阳性率。

然而，这种不等式通常不是严格的。因此可以定义有效的 $\epsilon^{\text{eff}}(\delta)$ ：

$\epsilon^{\text{eff}}(\delta; d, d') = \log \sup_{A: \Omega \times O \to \{0, 1\}} \max \left( \frac{T_{\text{PA}} - \delta}{F_{\text{PA}}}, \frac{1 - F_{\text{PA}} - \delta}{1 - T_{\text{PA}}} \right)$

对于任何相邻数据集 $d \cong d'$ ，定理1 表明 $\epsilon(\delta) \geq \epsilon^{\text{eff}}(\delta; d, d')$ 对所有 $\delta \geq 0$ 成立；然而， $\epsilon^{\text{eff}}$ 可以用来证明隐私分析是严格的【13，14】。此外， $\epsilon^{\text{eff}}$ 可以用于在不同上下文中（即根据攻击者A) 的不同假设）衡量隐私保护程度。特别是对于合成数据，许多合成数据生成器通过在模型训练期间加入噪声来使其参数 $\theta$ 满足差分隐私要求。由于采样是后处理的一种形式，因此 $D(s) = G_\theta(D^{(r)})$ 也是 $(\epsilon, \delta)$ -差分隐私的，但这一保证很可能不严格，因为采样引入了额外的随机性。因此， $\epsilon^{\text{eff}}$ 可以帮助评估更现实的量化隐私保证。 $\epsilon^{\text{eff}}$ 是通过实际的攻击方法测量的隐私泄露程度，它基于攻击者的成功率（真阳性率和假阳性率）计算。与理论上的ϵ不同， $\epsilon^{\text{eff}}$ 更具实际意义，因为它能够反映出在给定攻击策略下，合成数据在隐私保护方面的实际表现。

3.对抗工具箱

TAPAS 是一个用于合成数据对抗性评估的工具箱。在此，我们介绍 TAPAS 分析的基础——我们的威胁建模框架。随后，我们将详细说明工具箱中实现的攻击库。最后，我们回顾 TAPAS 提供的报告选项。

3.1 威胁模型

威胁模型（或攻击模型）定义了攻击发生的环境，以及假设攻击者知道的信息。这决定了可以对合成数据集进行哪些攻击。正式定义威胁模型的目的是在上下文中评估合成数据的隐私保障，也就是基于现实中的攻击者可能知道的信息做出假设。

我们提出了一个模块化的威胁建模框架，由攻击者的三个属性定义，这些属性可以独立修改：(1) 他们对真实数据集 $D^{(r)}$ 的了解，(2) 他们对生成器G的了解，以及 (3) 他们试图获取的信息。TAPAS 实现了这个模块化框架，允许用户在工具箱中评估生成器在多种场景下的隐私性。

3.1.1 数据集的知识

假设攻击者对真实数据 $D^{(r)}$ 的了解可能是不确定的。这通过一个数据集上的先验 $D^{(r)} \sim \pi_D$ 来表示，类似于 Li 等人的框架 [15]。两个常见的例子是辅助知识和精确知识。在前者中，数据集是一个更大（“总体”）数据集 $D^{(pop)}$ 的随机子集。这是攻击者知识的常见假设（参见例如 [3, 16]）。在后者中，攻击者知道数据集是两个数据集之一d和d'，它们只在一个条目上不同。这通常用于验证差分隐私（DP）的保障 [14]。

TAPAS 优化了针对目标的攻击（即针对一个特定记录t的攻击），通过结合数据集 $D_{-t}^{(r)}$ （不包括t的数据集）的先验知识 $D^{_{-t}^{(r)}} \sim \pi_{d'}$ 和目标t的知识，这些被假设为相互独立。例如，如果攻击者假设 $P(t \in D^{(r)}) = 0.8$ ，否则t会被另一个记录t'替换，同时其余 $D_{-t}$ 从 $\pi'$ 中抽样，TAPAS 将这些信息结合起来，得出先验 $\pi _{D}:dx \mapsto 0.8\cdot I_{\left \{ t\in d \right \}}\pi '(d\setminus \left \{ t\right \})+0.2\cdot I_{\left \{ t\in d \right \}}\pi '(d\setminus \left \{ t'\right \})$ 。

3.1.2 生产者的知识

建模攻击者对生成器的了解非常重要。通常有三种情况：

No-box（无盒）：攻击者对生成器没有任何信息。
Black-box（黑盒）：攻击者对生成器有精确的了解，能够将生成函数G应用于任意数据集。这是最常见的假设，因为它符合良好的安全实践。
White-box（白盒）：这是黑盒的扩展，攻击者除了知道生成器外，还可以访问生成器的训练参数，例如模型权重。攻击者可以利用这些额外信息，例如对生成器G使用特定的定制攻击。

TAPAS 支持一种额外的设置，我们称之为 Uncertain-box（不确定盒），在这种情况下，生成器函数由“元参数” $\gamma \in \Gamma$ 参数化，因此 $D^{(s) }= G_\Gamma( D^{(r) }; \gamma)$ 。攻击者知道生成函数 $G_\Gamma$ ，但对元参数 $\gamma \sim \pi_G$ 存在不确定性。TAPAS 主要关注黑盒、不确定盒和无盒的威胁模型，这三者都可以建模为 $(G_\Gamma; \pi_G)$ 。

3.1.3 攻击者的目标

通过攻击，攻击者旨在推断有关真实数据集的私人信息。这可以通过一个将数据集映射到决策的函数来表示， $g: D \rightarrow S$ 。常见的三类攻击是：

目标成员推断攻击 (MIA)针对目标记录t：评估目标是否存在于真实数据集中， $g: D^{(r)} \mapsto I_{\{t \in D^{(r)}\}}$ 。
目标属性推断攻击 (AIA)针对属性a和不完整的目标记录 $t_{-a}$ ：找到属性a的值v，使得完成的记录 $t_{-a}|v$ 存在于数据中， $g: D^{(r) }\mapsto v$ 使得 $t_{-a}|v \in D^{(r)}$ 。这假设数据集是表格形式的，即 $X = X_1 \times \cdots \times X_k$ 。本文中我们重点关注分类的敏感属性，即 $|X_a|$ 是有限的。
重构攻击：攻击者试图重建整个真实数据集的特殊情况， $g: D^{(r)} \mapsto D^{(r)}$ 。

TAPAS 目前主要关注前两类攻击，大多数关于合成数据隐私攻击的文献也是如此。重构攻击目前是一个尚未被充分研究的领域。

3.2 评估攻击

对于给定的攻击目标，攻击是一个（可能是随机的）合成数据集的函数，该函数输出一个决策，表示为 $A: D \times \Omega \rightarrow S$ （攻击接受一个合成数据集并输出一个决策，这个决策通常是关于某个特定记录是否在真实数据集中）。攻击的成功率通过一个准则来衡量： $C: D^{(r)} \times S \rightarrow R$ ，该准则评估在特定数据集和决策下，攻击者的猜测是否正确。可以简单地猜测是否正确，即 $C: (D^{(r)}; s) \mapsto I_{\{g(D^{(r)})=s\}}$ 。攻击A的成功率，对于特定的真实数据集 $D^{(r)^\ast}$ 和生成器的元参数 $\gamma ^{*}$ ，为：

$E_{D^{(s)}\sim G_{\tau }(D^{(r)^{*}},\gamma ^{*})}[C(D^{(r)^{*}},A(D^{(s)}))]$

在实际操作中，TAPAS 在评估中使用了一个“真实”数据集的分布 $D^{(r)^{*}}\sim \pi _{D}^{*}$ ，以纳入 $g(D^{(r)})$ 中的不确定性。

基准成功率：攻击者的先验 $\pi _{D}$ 定义了一个威胁模型的基准成功率，定义为一个不访问合成数据集的攻击 $A_{base}$ 的最大成功率： $max_{s\in S}E_{D^{(r)}\sim \pi _{D}}[C(D^{(r)},s)]$ 。在TAPAS中，威胁模型被定义为已知的基准成功率，通常是分类决策中的 $|S|^{-1}$ 。

模拟：在给定的威胁模型下，攻击者能够模拟上下文，并生成训练样本：

$\left\{\begin{matrix} D^{_{1}^{(r)}},...,D^{_{k}^{(r)}}\sim _{i.i.d.}\pi _{D}, \gamma _{1},...,\gamma _{k}\sim _{i.i.d.}\pi _{G},\\ D^{_{i}^{(s)}}\sim G_{\tau }( D^{_{i}^{(r)}},\gamma _{i}) \forall i=1,...,k. \end{matrix}\right.$

这些样本可以用来选择攻击 $A_\theta$ 的参数 $\theta \in \Theta$ ，例如通过选择 $\theta ^\ast \in \arg\max_{\theta \in \Theta } \sum_{i=1}^k C(D_{i}^{(r)},A_\theta (D_{i}^{(s)}))$ 来优化准则 C。

针对攻击评估的描述，注意以下几个关键概念：

攻击的定义：攻击被定义为一个可能是随机的函数，它接受一个合成数据集并输出一个决策。这个决策通常是关于某个特定记录是否在真实数据集中。
攻击成功的衡量标准：攻击的成功率通过一个准则来评估，该准则评估在特定数据集和决策下，攻击者的猜测是否正确。成功率可以表示为攻击者在真实数据集上的正确判断比例。
有效性度量：对于特定的真实数据集和生成器的元参数，攻击的成功率用公式表示。TAPAS在实际操作中会使用一个“真实”数据集的分布来考虑不确定性，从而更准确地评估攻击的效果。
基准成功率：攻击者的先验知识定义了一个威胁模型的基准成功率，这个基准成功率是指在没有访问合成数据集的情况下，攻击的最大成功率。在TAPAS中，威胁模型通常是已知的，基准成功率被用于比较和评估不同攻击的效果。
模拟过程：在特定的威胁模型下，攻击者能够模拟攻击环境并生成训练样本。这些样本可以用来选择攻击参数，例如，通过优化准则来选择最合适的参数，从而提高攻击的有效性。

3.3 攻击库

TAPAS 实现了一系列攻击，或更正式地说，通过元参数定义的攻击类别。我们关注具有有限决策集的威胁模型 $(|S|=n_{cat}\in \mathbb{N})$ ，且不失一般性地表示 $S = {s_{1},...,s_{n_{cat}}}$ ，将这些称为“标签推断攻击”。在这种设置下，TAPAS 将攻击定义为将合成数据集映射为得分向量的函数 $A : D\rightarrow \mathbb{R}^{n_{cat}}$ 。决策基于得分做出，通常是通过 $\sigma _{i}(D)$ ，但也可以考虑更复杂的决策方式。如果 $n_{cat}=2$ （即“二元攻击”），攻击可以通过得分和阈值来概括，表示为： $A_{\sigma ,\tau }:=I_{\left \{ \sigma (D)\geq \tau \right \} }$ 。

一些攻击专门应用于目标成员推断攻击 (MIA) 或属性推断攻击 (AIA)。目标 MIA 是二元攻击，其中得分与成员身份的可能性成正比。目标 AIA 是标签推断攻击，其中决策集是可能属性值的集合 $\left \{ v_{1},...,v_{l} \right \}$ 。

3.3.1 阴影建模攻击

在阴影建模攻击中，攻击者生成大量“真实”数据集 $D^{_{i}^{(r)}}\sim\pi _{D}$ 和合成数据集 $D^{_{i}^{(s)}}=G(D^{_{i}^{(r)}})$ ，然后训练一个分类器 $C_{\theta }$ 预测 $g(D^{_{i}^{(r)}})$ 来自 $D^{_{i}^{(s)}}$ 。该过程需要一个对数据集进行分类的分类器 $C_{\theta }:D\rightarrow S$ 。（阴影建模攻击的过程：生成数据→训练分类器）

Stadler 等人 [3] 使用了一个两阶段分类器，它结合了一个固定的特征映射 $\phi : D \rightarrow \mathbb{R}^{l}$ 和一个“经典”分类器 $C_{\theta} : \mathbb{R}^{l} \rightarrow S$ ，表示为 $C_{\theta} = C_{\theta} \circ \phi$ 。TAPAS 实现了 Stadler 等人的三个特征集（基本统计量、直方图和相关性），以及其他特征映射。特别是，我们提出并实现了目标计数查询特征映射 $Q_{t;S} : D \mapsto \frac{1}{|D|} \sum_{x \in D} I_{\{x_s = t_s, \forall s \in S\}}$ ，该映射是为一个属性子集 S随机定义的。我们在第 4 节中展示了，使用这种特征映射在实证上优于 Stadler 等人的特征映射。

3.3.2 局部邻域攻击

给定一个记录之间的距离函数 $\partial : X \times X \rightarrow \mathbb{R}^+$ ，这类攻击使用与目标记录 t 接近的合成数据来做出决策。直观上来说，t的邻域最有可能因t在真实数据 $D^{(r)}$ 中的存在而受到影响。

距离最近记录是合成数据中常见的启发式隐私度量 [4, 5]。这种度量对应于针对目标 t 的成员推断攻击，其得分为 $\sigma(D) = - \min_{x \in D} \partial (x, t)$ 。这可以看作是对直接查找攻击的推广，即“真实记录是否在数据中？”需要注意的是，尽管这看起来像传统的去标识化攻击，但目标t在合成数据 $D^{(s)}$ 中的存在并不自动意味着隐私泄露。只有当t在 $D^{(r)}$ 中的存在显著增加t出现在 $D^{(s)}$ 中的可能性时，这种攻击才构成隐私问题。

我们将这种攻击扩展到目标属性推断攻击，得分为敏感属性取值 $v_i$ 的公式为 $\sigma_i(D) = - \min_{x \in D} \partial (x, t_{-a}|v_i)$ ，即通过测量与目标记录的距离来推断敏感属性。

需要注意的是，距离函数 $\partial$ 也可以通过训练获得。例如，Zhang 等人 [17] 提出了一种针对合成健康记录的无信息攻击，利用表示学习来训练相似度度量。

3.3.3 基于合成数据的推断攻击

合成数据推断攻击利用生成模型可能会“过拟合”真实数据集 $D^{(r)}$ 的假设。在这种情况下，可以训练一个模型 $f_{\theta }$ 直接对合成数据进行攻击。

对于成员推断攻击，攻击者通过拟合密度函数 $L_\theta : X \rightarrow \mathbb{R}^+$ 到合成数据 $D^{(s)}$ 上。这可以是任何统计模型，例如高斯混合模型。一些生成器（例如 [18, 19]）明确拟合了这样的模型，在白盒场景下可以直接使用。此时，得分为 $\sigma(D) = L_\theta(t)$ 。

对于属性推断攻击，攻击者在合成数据 $D^{(s)}$ 上训练一个分类器 $C_\theta : X \rightarrow \mathbb{R}^{n_{cat}}$ ，用来根据其他属性 $x_{-a}$ 预测敏感属性a。得分为目标记录 $t_{-a}$ 的预测得分，即 $\sigma(D) = C_\theta(t_{-a})$ 。这对应于一种称为正确归因概率（Correct Attribution Probability，CAP）的隐私度量 [20]。然而，这种攻击存在基准率问题：敏感属性和非敏感属性之间的相关性可能使得即使 $t \notin D^{(r)}$ ，攻击仍然成功。这是否构成隐私泄露，在社区中是一个有争议的问题。TAPAS 通过在训练分类器时，将目标记录的敏感属性随机化为均匀随机分布来应对这个问题。

3.4 总结结果

TAPAS 提供了几种攻击结果的分析（称为报告）。这些报告汇总了在许多测试对 $(D^{_{i}^{(r)}},D^{_{i}^{(s)}})$ 上运行的各种攻击结果。三种主要的报告类型包括：

分类指标：准确率、真/假阳性率、AUROC，以及来自 Stadler 等人的隐私增益指标。
ROC 曲线：针对具有得分的二元攻击，显示不同阈值下的真正率与假正率之间的关系。
有效 $\varepsilon ^{eff}$ ：此报告首先在10%的测试样本子集中贪婪地选择一个攻击和阈值，然后使用 Jagielski 等人的方法，对剩余90%的样本进行分析，估计 $\varepsilon ^{eff}$ 的统计显著性下界。该方法可以用来实证验证差分隐私。

4.实验

在本节中，我们展示了如何使用TAPAS评估多个生成器的隐私性。我们的目标是展示如何正确使用这个工具箱，而不是对合成数据隐私进行彻底的分析。然而，我们仍然展示了隐私评估中存在的一些挑战。

我们在隐私尤为重要的场景下展示了工具箱的使用，即与个人数据相关的工作。我们将工具箱应用于国家统计局2011年英格兰和威尔士人口普查微数据教学文件（Census Microdata Teaching File），该文件包含从2011年人口普查中随机抽取的1%的匿名样本，总共约570,000条记录，具有15个分类属性。虽然这些数据已经被认定为不具备可披露性，但该工具箱可用于未来类似微数据文件的生产中。我们考虑了三个生成器：PrivBayes、MST 和 CT-GAN。前两个生成器分别提供 ε-DP 和 (ε, δ)-DP 隐私保障，而最后一个生成器没有提供此类隐私保障。

实验1：我们考虑一个攻击者进行属性推断攻击，该攻击者具有数据集的辅助知识并拥有生成器的黑盒知识。我们将数据集随机分为两部分（辅助集和测试集），从中抽取5000条记录作为“真实”数据集。攻击者选择一条“异常”记录，即从1000条随机样本中选择具有最低对数似然的记录。我们独立攻击每个生成器，对于DP生成器，使用 ε = 10 和 δ = 10^-5。使用多种攻击方法，包括基于汉明距离的局部邻域攻击、随机森林分类器的合成数据推断攻击、Groundhog攻击，以及带有逻辑回归学习者的Groundhog攻击和随机查询特征的阴影建模攻击。最终，将这些攻击的准确性、隐私增益和AUC进行比较。

实验2：我们展示了如何在MST上进行有效隐私 $\varepsilon ^{eff}$ 的实证估计，设置为ε = 10。我们使用确切知识设置，攻击者知道数据集是 $D^{+}=d_{-t}\cup \left \{ t \right \}$ 或 $D^{-}=d_{-t}\cup \left \{ t' \right \}$ ，对于任意大小为499的d从完整数据集中抽样，目标记录为t，另一个任意记录为t'。我们选择这个设置来检测隐私违反（因为DP的经验估计计算成本较高）。我们生成了1000个合成“训练”数据集D+和D−来训练攻击，并生成了2500个合成“测试”数据集来评估 $\varepsilon ^{eff}$ 。在图1(b)中，我们展示了TAPAS生成的ROC曲线。我们发现，带有随机查询特征的影子建模攻击优于其他所有攻击（AUC为0.70，而Groundhog攻击的AUC为0.63），并用于 $\varepsilon ^{eff}$ 估计。我们的 $\varepsilon ^{eff}$ 估计程序生成了95%置信区间 [0.86, 1.39]。令人惊讶的是，ε = 10不在此置信区间内。（置信区间是一种用于估计总体参数（范围，它在一定的置信水平下给出该参数可能的取值区间。通常，置信区间由样本统计量及其标准误差计算得出，并通过统计方法得出一个上限和下限。例如，如果一个研究的结果显示某个参数的95%置信区间为[0.86, 1.39]，这意味着研究者有95%的信心认为该参数的真实值位于这个区间内。置信水平（如95%）表示了对区间包含真实参数的置信程度，置信区间越窄，意味着对参数的估计越精确；反之，置信区间越宽，则估计的精确性较低。）